robots是网站非常重要的一个指令,公司网站上线之前部署好非常重要。我们可以用这个指令告知搜索引擎哪些内容是需要它们收录的,哪些敏感信息是不需要它们收录的。如下图:
该指令意思就是:允许所有蜘蛛爬行网站,但是有些目录做了限制。/*?*这个指令是禁止所有动态页面被蜘蛛抓取到。(如果企业网站是纯静态编写,这个指令是非常有用的。可以解决引擎重复收录的烦恼和黑客攻击流量的烦恼)。
网站运维者在部署robots协议的时候一定要仔细,防止所有页面被引擎清空。小编就遇到这么一次,不小心设置了禁止所有引擎抓取网站,悲催的事情发生了——所有索引一夜之间消失。好在更新及时才挽回损失。下一次小编专门给大家讲一下失误是如何解决的,很实用。
最好是可以在站长robots工具进行设置,很方便。工具地址大家在度娘搜索。今天就给大家讲到这里,希望您收获满满。中秋快乐!
【凯发k8网址手机下载的版权声明】:本站内容来自于与互联网(注明原创稿件除外),供访客免费学习需要。如文章或图像侵犯到您的权益,请及时告知,我们第一时间删除处理!谢谢!