upring 发表于 2011 年 12 月 6 日 19:33:47

百度蜘蛛微服私访记

第一节

20分钟前,百度蜘蛛停止了访问,下面是最后一次访问,被访问页面是首页。

61.135.166.101 - - "GET / HTTP/1.1" 200 92571 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"

平时每秒都会有BaiduSpider的访问,这次不知道是什么原因,居然这么长时间停止了访问。给易价网做SEO这么长时间,第一次遇到这样的事情,总之应该不是什么太好的消息。

密切观察!

第二节

220.181.5.33 - - "GET /c76/b2746 HTTP/1.1" 200 565070 "http://www.yijiawang.com.cn/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322, Baidu-Transcoder/1.0.6.0, gate.baidu.com)"

近一个小时百度依然停止访问,接着又来了这样一条Baidu-Transcoder访问。

搜索了一下,很多人说了拔毛蜘蛛。

倒吸一口凉气。

“为人不做亏心事 半夜不怕鬼敲门”,想了想,不怕,从做SEO开始的第一天,我就没有用过任何作弊手段。

假如真的被K,无非是去光顾一下百度总部而已,反正公司报销~

第三节

3:10分,停止访问一个小时后,百度Spider 终于再次光临!

并且抓取速度有了质的提高。

易价网最近一个月搜索引擎带来的点击数成数量级上升,也难怪百度会派遣拔毛蜘蛛来一次视察。

gate.baidu.com可能百度的手机站,可能只是拔毛蜘蛛的“羊皮”。我估测,百度会派遣不同Use-Agent来视察,Transcoder只是其中一个。



第四节

61.135.162.15 - - "GET /web/product/496/t127947/product_review_reply.html HTTP/1.1" 200 27430 "http://www.yijiawang.com.cn/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322, Baidu-Transcoder/1.0.6.0, gate.baidu.com)"

随着Transcoder这条记录,spider再次停止访问。

我已经感觉到,百度总部的某人正在对易价网进行人工审核。

再次提醒自己,我没作弊,什么也不怕。

第五节

220.181.38.195 - - "GET /price/68825.html HTTP/1.1" 200 27933 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"

随着这条记录,百度终于在半小时后又开始访问了。

一直持续到现在。速度也趋于稳定。

一切终于结束!

总结:
这次事件给我的启发是,不要根据User-Agent来做SEO的文章,能进百度的人肯定比你的智商要高点,不是吗?呵呵

choovin 发表于 2012 年 5 月 13 日 11:11:53

好帖,顶一下,支持楼主
页: [1]
查看完整版本: 百度蜘蛛微服私访记