怎么用robots文件屏蔽一个文件夹内的所有内容
robots写法:
User-agent:Baiduspider
Disallow:/你要屏蔽的文件夹名称/下面的正确,如果是屏蔽一个文件夹的话,是需要加上斜杠的补充一点,设置好robots后,蜘蛛还是照常抓取,应该文件生效大概在一个月左右吗,所以不需要急。
怎么用robots.txt禁止所有搜索引擎访问?
User-agent: *Disallow: /保存为robots.txt上传即可User-agent: *Disallow: /保存为robots.txt上传即可
原创文章,作者:墨搜网络,如若转载,请注明出处:https://www.moyuseo.com/feyu/700.html