浅谈搜索引擎对robots.txt文件的索引情况
因为从来没有在收录里看到过有robots.txt这样的网址，所以就查阅了一下资料，搜索到谷歌早就告诉了我们哪些文件类型会编入索引，只是我没有碰到过没有意识到而已!在这里我引用谷歌的一篇文章给大家参考一下，正文如下：Google 可将哪些文件类型编入索引?
Google 可将大多数类型的网页和文件内容编入索引。我们最常编入索引的文件类型包括：
Adobe Flash (.swf)
Adobe 便携式文档格式 (.pdf)
Adobe Postscript (.ps)
Autodesk Design Web Format (.dwf)
Google 地球(.kml、.kmz)
GPS 交换格式 (.gpx)
Hancom Hanword (.hwp)
HTML(.htm、.html、其他文件扩展名)
Microsoft Excel(.xls、.xlsx)
Microsoft PowerPoint(.ppt、.pptx)
Microsoft Word(.doc、.docx)
OpenOffice 演示文稿 (.odp)
OpenOffice 电子表格 (.ods)
OpenOffice 文本文件 (.odt)
富文本格式(.rtf、.wri)
可缩放矢量图形 (.svg)
TeX/LaTeX (.tex)
文本文件(.txt、.text、其他文件扩展名)，包括采用常用编程语言的源代码：
Basic 源代码 (.bas)
C/C++ 源代码(.c、.cc、.cpp、.cxx、.h、.hpp)
C# 源代码 (.cs)
Java 源代码 (.java)
Perl 源代码 (.pl)
Python 源代码 (.py)
无线标记语言(.wml、.wap)
XML (.xml)
如果您在 Google 搜索中使用的是 filetype: 运算符(例如，filetype:xml galway)，那么 Google 会搜索扩展名为 .xml 的文件，而不是文件类型为 XML 的文件。
并非所有网址或网页的文件扩展名都是 .html。某些网页(如 http://www.google.com)根本就没有扩展名，而某些网页的扩展名与其文件类型并不匹配。只搜索特定的文件类型会返回具有相应文件扩展名的网页，但返回的相关结果可能较少。
引述文章来自：http://support.google.com/webmasters/bin/answer.py?hl=zh-Hans&answer=35287
看完这篇帮助文章我就尝试着搜索看看是不是真的是那样的，我们用查找文件命令来搜索，filetype:txt 可以看到排在第一位的是美国地区的一个网站
根据TXT文本文件的搜索结果，是不是可以联系到我们的robots文件也是文本格式呢?是不是一样会被索引呢?答案是肯定滴!
让我们来搜索一下robots.txt是不是真的如我们上面说的那样会被索引。我们在搜索 框输入 robots filetype:txt ，意思就是查找被索引的robots txt文件。搜索结果如下：
搜索结果证实，我起初对于“搜索引擎对robots.txt文件会收录吗?”这个疑虑现在有了明确的答案，那就是：搜索引擎对robots.txt文件会收录!
今天和大家就分享到这里，如有不同观点可以和我讨论哈!
楼主高手啊！-------------
页:
[1]