Robots.txt 是网站里的一个文件，它通知搜索引擎抓取Tools（蜘蛛）网站的哪些内容。主流搜索引擎（包含 百度、Google、Bing 和 360等）都可以辨认并遵循Robots.txt的探访要求。
Robots.txt 是如何工作的？
- 爬行：搜索引擎的蜘蛛在爬网的过程中，经过从其他网站中获得到了你的网址，那它就会记载下这个网址。
- 抓取：蜘蛛经过拜访之前记录的网址，抓取你网页里的内容并存档。那是不是你提交的网址必定都会被抓取呢？不一定，由于搜索引擎分派给你的抓取份额是有限的，假如你的站点很小，那根本不必担忧，那假如你的站点范围宏大，那关于运用Robots.txt文件，阻止某些不必要的内容抓取，就很需要了，这能让抓取份额用在有用的地方，而不是无意义的内容耗费。
- 索引：也被称为收录，英文叫做index，也就是搜索引擎将之前抓取到的内容，出现到用户搜索的搜索引擎中了。
感谢您的来访，获取更多精彩文章请收藏本站。
THE END
喜欢就支持一下吧
