在我们网站文章不收录的时候,第一时间就是要看看网站蜘蛛抓取的日志,但通过访问服务器的方式查看蜘蛛日志有点麻烦,我们可以用代码来实现给WordPress网站添加记录蜘蛛抓取日志的功能,下面大头把教程分享出来。
WordPress网站添加记录蜘蛛抓取日志功能方法步骤:
- 打开网站根目录,找到funtion.php文件。
- 用代码编辑器或者记事本打开funtion.php文件。
- 在<?php ?>内代码底部添加下方的代码。
- 再在服务器更目录创建一个robotslogs.txt文件,用于记录蜘蛛日志。
记录蜘蛛抓取日志功能的代码:
// 记录蜘蛛访问记录 function get_naps_bot(){ $useragent = strtolower($_SERVER['HTTP_USER_AGENT']); if (strpos($useragent, 'googlebot') !== false){ return 'Googlebot'; } if (strpos($useragent, 'msnbot') !== false){ return 'MSNbot'; } if (strpos($useragent, 'slurp') !== false){ return 'Yahoobot'; } if (strpos($useragent, 'baiduspider') !== false){ return 'Baiduspider'; } if (strpos($useragent, 'sohu-search') !== false){ return 'Sohubot'; } if (strpos($useragent, 'lycos') !== false){ return 'Lycos'; } if (strpos($useragent, 'robozilla') !== false){ return 'Robozilla'; } return false; } function nowtime(){ date_default_timezone_set('Asia/Shanghai'); $date=date("Y-m-d.G:i:s"); return $date; } $searchbot = get_naps_bot(); if ($searchbot) { $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); $url=$_SERVER['HTTP_REFERER']; $file="robotslogs.txt"; $time=nowtime(); $data=fopen($file,"a"); $PR="$_SERVER[REQUEST_URI]"; fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n page:$PR\r\n"); fclose($data); }
在完成上面的步骤之后,我们以后查看蜘蛛日志就不用再那么麻烦了,只需要打开浏览器,访问域名+robotslogs.txt即可,例:www.datou0.com/robotslogs.txt。