robots.txt协议如何设置禁止搜索引擎抓取

编辑:麦格网络-

广告

什么情况下要设置禁止搜索引擎抓取自己的网站呢?

公司内部测试的网站,或者内部网,或者后台登录的页面,肯定不希望被外面的人搜索到,所以要禁止搜索引擎抓取。还有在我们的网站还未正式上线之前,我们需要做大量的修改工作,如果还未修改完成又没有设置禁止抓取,那么网站就有可能会被收录了,后期我们对网站再进行修改操作,就会对网站造成影响。

禁止搜索引擎抓取

搜索引擎第一个访问的文件就是robots.txt,禁止所有搜索引擎访问网站的所有部分robots.txt写法如下:

User-agent: *

Disallow: /

网站有内容不想让搜索引擎收录,就可以在robots.txt里声明。

来源:,欢迎分享本文!

本文链接:https://www.029ppyy.com/SEOyouhua/111.html

你会喜欢下面的文章? You'll like the following article.