robots屏蔽所有写法

怎么用robots文件屏蔽一个文件夹内的所有内容

robots写法:

User-agent:Baiduspider

Disallow:/你要屏蔽的文件夹名称/下面的正确,如果是屏蔽一个文件夹的话,是需要加上斜杠的补充一点,设置好robots后,蜘蛛还是照常抓取,应该文件生效大概在一个月左右吗,所以不需要急。

怎么用robots.txt禁止所有搜索引擎访问?

User-agent: *Disallow: /保存为robots.txt上传即可User-agent: *Disallow: /保存为robots.txt上传即可

原创文章,作者:墨搜网络,如若转载,请注明出处:https://www.moyuseo.com/feyu/700.html

(0)
墨搜网络墨搜网络
上一篇 2021年12月5日 下午3:29
下一篇 2021年12月5日 下午3:29

相关推荐

分享本页
返回顶部
欢迎来到互联网运营人学习交流技术网站!