Robots.txt 是网站里的一个文件,它通知搜索引擎抓取Tools(蜘蛛)网站的哪些内容。主流搜索引擎(包含 百度、Google、Bing 和 360等)都可以辨认并遵循Robots.txt的探访要求。
Robots.txt 是如何工作的?
- 爬行:搜索引擎的蜘蛛在爬网的过程中,经过从其他网站中获得到了你的网址,那它就会记载下这个网址。
- 抓取:蜘蛛经过拜访之前记录的网址,抓取你网页里的内容并存档。那是不是你提交的网址必定都会被抓取呢?不一定,由于搜索引擎分派给你的抓取份额是有限的,假如你的站点很小,那根本不必担忧,那假如你的站点范围宏大,那关于运用Robots.txt文件,阻止某些不必要的内容抓取,就很需要了,这能让抓取份额用在有用的地方,而不是无意义的内容耗费。
- 索引:也被称为收录,英文叫做index,也就是搜索引擎将之前抓取到的内容,出现到用户搜索的搜索引擎中了。
感谢您的来访,获取更多精彩文章请收藏本站。
THE END
喜欢就支持一下吧