给WordPress网站添加记录蜘蛛抓取日志功能

2020年06月14日 3295点热度 3人点赞 0条评论

在我们网站文章不收录的时候,第一时间就是要看看网站蜘蛛抓取的日志,但通过访问服务器的方式查看蜘蛛日志有点麻烦,我们可以用代码来实现给WordPress网站添加记录蜘蛛抓取日志的功能,下面大头把教程分享出来。

给WordPress网站添加记录蜘蛛抓取日志功能

WordPress网站添加记录蜘蛛抓取日志功能方法步骤:

  1. 打开网站根目录,找到funtion.php文件。
  2. 用代码编辑器或者记事本打开funtion.php文件。
  3. 在<?php ?>内代码底部添加下方的代码。
  4. 再在服务器更目录创建一个robotslogs.txt文件,用于记录蜘蛛日志。

记录蜘蛛抓取日志功能的代码:

// 记录蜘蛛访问记录
function get_naps_bot(){
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, 'googlebot') !== false){
return 'Googlebot';
}
if (strpos($useragent, 'msnbot') !== false){
return 'MSNbot';
}
if (strpos($useragent, 'slurp') !== false){
return 'Yahoobot';
}
if (strpos($useragent, 'baiduspider') !== false){
return 'Baiduspider';
}
if (strpos($useragent, 'sohu-search') !== false){
return 'Sohubot';
}
if (strpos($useragent, 'lycos') !== false){
return 'Lycos';
}
if (strpos($useragent, 'robozilla') !== false){
return 'Robozilla';
}
return false;
}
function nowtime(){
date_default_timezone_set('Asia/Shanghai');
$date=date("Y-m-d.G:i:s");
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file="robotslogs.txt";
$time=nowtime();
$data=fopen($file,"a");
$PR="$_SERVER[REQUEST_URI]";
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n page:$PR\r\n");
fclose($data);
}

在完成上面的步骤之后,我们以后查看蜘蛛日志就不用再那么麻烦了,只需要打开浏览器,访问域名+robotslogs.txt即可,例:www.datou0.com/robotslogs.txt。

 

大头

勤而自律,心似明镜。