网站的Robots.txt文件是什么?它有什么作用?

Robots.txt 是网站里的一个文件,它通知搜索引擎抓取Tools(蜘蛛)网站的哪些内容。主流搜索引擎(包 百度、Google、Bing 和 360等)都可以辨认并遵循Robots.txt的探访要求。

搜索引擎

Robots.txt 是如何工作的?

  • 爬行:搜索引擎的蜘蛛在爬网的过程中,过从其他网站中获到了你的网址,那它就会记下这个网址。
  • 抓取:蜘蛛访之前记录的网址,抓取你网页里的内容并存档。那是不是你提交的网址定都会被抓取呢?不一定,由于搜索引擎分给你的抓取份额是有限的,如你的站点很小,那本不,那如你的站点范围宏大,那用Robots.txt文件,阻止某些不必要的内容抓取,就很要了,这能让抓取份额用在有用的地方,而不是无意义的内容耗
  • 索引:也被称为收录,英文叫做index,也就是搜索引擎将之前抓取到的内容,现到用户搜索的搜索引擎中了。

 

------网络推广开户运营咨询:13798540237(微信同号,加粉引流,优化运营,渠道代理)------

 

感谢您的来访,获取更多精彩文章请收藏本站。

 
 
THE END
喜欢就支持一下吧
点赞13 分享