robotstxt写法(什么是Robotstxt协议)

robots.txt的写法是否正确

您好楼主：

你的robots的意思这这样的，若你是想让搜索引擎这样做的话，那你的就是对的。

User-agent:*

开始配置所有引擎

Disallow:/wp-*

禁止所有引擎抓取网站前缀为wp-并且包含的目录（包含子目录）

Disallow:/?

禁止所有引擎抓取网站以?开头的动态页面

Disallow:/trackback

禁止所有引擎抓取网站trackback目录（包含子目录）

Disallow:/*/*/trackback

禁止所有引擎抓取网站包含和的目录下的包含和的目录下的trackback目录（包含子目录）

Disallow:/index.php?

禁止所有引擎抓取网站文件名为index.php的动态页面

Disallow:/index.php/

禁止所有引擎抓取网站index.php目录

Disallow:/*.php$

禁止所有引擎抓取网站后缀为并且包含.php的文件

Disallow:/*.js$

禁止所有引擎抓取网站后缀为并且包含.js的文件

Disallow:/*.css$

禁止所有引擎抓取网站后缀为并且包含.css的文件

Disallow:/*/*/feed

禁止所有引擎抓取网站包含和的目录下的包含和的目录下的feed目录（包含子目录）

Sitemap:

Sitemap地址：

希望对您有所帮助

【相关阅读：

本回答由提问者推荐

robots.txt的写法

robots.txt的写法是做seo的人员必须知道的（什么是robots.txt），但该如何写，禁止哪些、允许哪些，这就要我们自己设定了。

百度蜘蛛是一机器，它只认识数字、字母和汉字，而其中robots.txt就是最重要也是最开始和百度“对话”的内容。

当我们的网站在没有建好的时候，我们不希望百度来抓取我们的网站，往往有人会禁止百度来抓取。但是，这种做法是非常不好的，这样会让百度蜘蛛很难再来到你的网站了。所以，我们必须现在本地搭建网站，等一切都搞好以后，再去买域名、空间，要不，一个网站的反复修改，会对你的网站有一定的不利影响。

我们的网站起初的robots.txt写法如下：

User-agent:*

Disallow:/wp-admin/

Disallow:/wp-includes/

User-agent:*的意思是，允许所以引擎抓取。

而Disallow:/wp-admin/和Disallow:/wp-includes/，则是禁止百度抓取我们的隐私，包括用户密码、数据库等。这样的写法既保护了我们的隐私，也让百度蜘蛛的抓取最大化。

如果，你想禁止百度蜘蛛抓取某一个页面，比如123.html，那就加一句代码“Disallow:/123.html/”即可。

robots.txt写好后，只需要上传到网站的根目录下即可。

本回答由网友推荐

robots.txt写法问题User-agent:*<br/>D

禁止爬行动态链接 比如news.php?r=1

iAsk和robots.txt通常,一个搜索引擎要到世界各个网站

User-

Disallow:/*.php

robots.txt的写法、使用方法

User-agent: * Disallow:/admin Disallow:/php

请问我的robots.txt的写法对吗？

robots文件用法 例1. 禁止所有搜索引擎访问网站的任何部分 User-agent: * Disallow: / 实例分析：淘宝网的 Robots.txt文件 User-agent: Baiduspider Disallow: / User-agent: baiduspider Disallow: / 很显然淘宝不允许百度的机器人访问其网站下其所有的目录。 例2. 允许所有的robot访问 (或者也可以建一个空文件 “/robots.txt” file) User-agent: * Allow: / 例3. 禁止某个搜索引擎的访问 User-agent: BadBot Disallow: / 例4. 允许某个搜索引擎的访问 User-agent: Baiduspider allow:/嗯 是这样的。对织梦实例如下：User-agent: * Disallow: /plus/ad_js.phpDisallow: /plus/advancedsearch.phpDisallow: /plus/car.phpDisallow: /plus/carbuyaction.phpDisallow: /plus/shops_buyaction.phpDisallow: /plus/erraddsave.phpDisallow: /plus/posttocar.phpDisallow: /plus/disdls.phpDisallow: /plus/feedback_js.phpDisallow: /plus/mytag_js.phpDisallow: /plus/rss.phpDisallow: /plus/search.phpDisallow: /plus/recommend.phpDisallow: /plus/stow.phpDisallow: /plus/count.phpDisallow: /includeDisallow: /templets嗯，我是过来学习的楼主的写法是正确的我对比过，织梦程序在ROBOT的写法是文件夹名字后不带斜杠，而discuz论坛程序的却是带斜杠的。在百度站长工具资料区显示，百度对于ROBOT的解析是这样子的：例如Disallow:/help禁止robot访问/help.html、/helpabc.html、/help/index.html，而Disallow:/help/则允许robot访问/help.html、/helpabc.html，不能访问/help/index.html。即不带斜杠则禁止的范围比较广。包括了在同级目录的相似名字网页文件而带斜杠只是禁止访问该目录下的。是这样子的！先是全部开放！然后再屏蔽admin这个目录下面的文件！好像有点问题