您好,欢迎访问本站博客!登录后台查看权限
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧
  • 网站所有资源均来自网络,如有侵权请联系站长删除!

robots.txt协议?

网站建设 wuyou387 2017-11-14 81 次浏览 0个评论

  官方解答:robots协议(也称为爬虫协议、爬虫规则、机器人协议等)也就是robots.txt,网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。


  推56论坛答:几乎所有搜索引擎都遵循这一协议。SEO教程-推56论坛-王宝臣理解robots.txt最大的作用对于一些电子商务网站,比如网站的会员帐号密码。一些交易类网站的现金资料这类程序页面肯定是不能让被抓取的。例:http://wwww.178pua.com/robots.txt 这是王宝臣独立博客的robots.txt设置。其次robots.txt里面可以放上网站地图。方面搜索引擎蜘蛛抓取。(搜索蜘蛛先查询你有没有robots.txt文档。里面可以写上robots.txt 例:http://www.178pua.com/sitemap.html) PUA网站地图.


已有 81 位网友参与,快来吐槽:

发表评论

站点统计