让WordPress监测搜索引擎蜘蛛爬行记录(非插件)
搜索引擎不收录博客内容，有时候我们只能干着急，原因很多很复杂。不过我们可以通过下边的代码来记录搜索引擎对你的网站的访问记录，可以从中找出问题所在，于便于解决问题。
用插件固然可以实现，不过插件也有弊端，太多的会造成载入速度的下降，插件间的冲突等，所以能使用代码实现的就一定要用代码来实现。
这个监测搜索引擎蜘蛛爬行记录的代码，其实很简单就一个文件：请看http://www.hiw3c.com/wp-content/uploads/robotscode.txt。
原理：各大搜索引擎的蜘蛛爬行程序都有自己的标识符，例如谷歌的是googlebot，百度的是 baiduspider，它们可以通过查询_SERVER变量中的HTTP_USER_AGENT参数来获取，再结合HTTP_REFERER记录下 URL的来源，最后用 nowtime()函数取得当前的系统时间，就形成了一条简单的擎蜘蛛爬行记录。
看不明白的朋友可以跳过，其实代码许多年前网上就有人共享出来了，我们重点学会如何使用就可以了。
使用: 然后将上面贴出来的robots.txt文件另存为robots.php，当然你可以任意给它取个名字，例如123.php或者aaa.php 都行，只要保证扩展名是php，让它能够正常执行即可；然后上传到你的网站程序的模板目录中（例如Wordpress的是/wp-content /themes/hiw3c目录）；最后在你的模板文件中调用它，例如在Wordpress博客中，你可以在footer.php文件中添 加<?php include(’robots.php’) ?>代码。
接下来就是等待搜索引擎蜘蛛到你的网站来爬行了，爬行的结果记录在网站根目录的robotslogs.txt中，你直接打开 http://www.hiw3c.com/robotslogs.txt就能看到了。当然你也可以修改robots.php文件的第50行，把robotslogs.txt换成任意你想要的名字。
通过一段时间的监测，你就可以发现搜索引擎蜘蛛在你的网站上爬行的频率了，一般来说，蜘蛛爬行得越勤快越好。另外，如果你的robotslogs.txt记录的内容太多了的话，你可以清空它重新开始记录。
试用下。
我试试先
哈哈，好东西，收下了！刚给装上，看看效果，凭这个也必须订阅了！
确实不错，要是模板文件是HTML的，那怎么调用，麻烦告知，谢谢！
可以使用js的方式调用。
不错，欢迎回访乐亭旅游博客
有点小问题，百度谷歌抓的时候并没有出现网站是否抓取成功“数字”呢？是不是代码写得不够完整啊？
如：
202.108.11.43 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200
出现200的话就说明百度已经抓取了，大概看了贵站，发现也没有出现“数字”呢·
需要日期转换一下，找到$date=date(“Y-m-d.G:i:s”);，改为$date=gmdate(“Y-n-j H:i:s”,time()+8*3600);即可。或者重新下载最新的文件。
我现在试试··呵呵···怎么样了·我再来说说··
呀··很不错呢···改天试试···呵呵··
文件打不开。
已经修正，感谢关注！