upring 发表于 2011 年 11 月 17 日 11:34:44

四大机器人的代码

Googlebot/2.1+(+http://www.google.com/bot.html)
Mediapartners-Google/2.1

google

Baiduspider+(+http://www.baidu.com/search/spider.htm)

baidu

+Yahoo!+Slurp;+http://help.yahoo.com/help/us/ysearch/slurp
yahoo

页: [1]
查看完整版本: 四大机器人的代码