robots.txt 要 怎么写
不想让百度收录/name/index.html的话，
robots.txt里面写入如下内容：
User-agent:baiduspider
Disallow:/name/index.html
本回答由提问者推荐
robots.txt文件怎么写
大家先了解下robots.txt文件是什么，有什么作用。搜索引擎爬去我们页面的工具叫做搜索引擎机器人，也生动的叫做“蜘蛛”蜘蛛在爬去网站页面之前，会先去访问网站根目录下面的一个文件，就是robots.txt。这个文件其实就是给“蜘蛛”的规则，如果没...
相关文章
原创文章，作者：墨搜网络，如若转载，请注明出处：https://www.moyuseo.com/feyu/691.html
