robotstxt怎么写(什么是Robotstxt协议)

关于robots.txt怎么写

我们先来了解一下什么是robots.txt？

搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件。您可以在您的网站中创建一个纯文本文件robots.txt，在文件中声明该网站中不想被robot访问的部分或者指定搜索引擎只收录特定的部分。

请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件或者创建一个内容为空的robots.txt文件。

robots.txt放置位置

robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站(比如

)时，首先会检查该网站中是否存在

/robots.txt这个文件，如果Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

robots.txt格式

文件包含一条或更多的记录，这些记录通过空行分开(以CR,CR/NL,orNL作为结束符)，每一条记录的格式如下所示：”:”。在该文件中可以使用#进行注解。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow和Allow行,详细情况如下。

User-agent:

该项的值用于描述搜索引擎robot的名字。在”robots.txt”文件中，如果有多条User-agent记录说明有多个robot会受到”robots.txt”的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则对任何robot均有效，在”robots.txt”文件中，”User-agent:*”这样的记录只能有一条。如果在”robots.txt”文件中，加入”User-agent:SomeBot”和若干Disallow、Allow行，那么名为”SomeBot”只受到”User-agent:SomeBot”后面的Disallow和Allow行的限制。Disallow:该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被robot访问。例如”Disallow:/help”禁止robot访问/help*.html、/help/index.html，而”Disallow:/help/”则允许robot访问/help*.html，不能访问/help/index.html。

"Disallow:"说明允许robot访问该网站的所有url，在”/robots.txt”文件中，至少要有一条Disallow记录。如果”/robots.txt”不存在或者为空文件，则对于所有的搜索引擎robot，该网站都是开放的。

Allow:

该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL是允许robot访问的。例如”Allow:/hibaidu”允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的，所以Allow通常与Disallow搭配使用，实现允许访问一部分网页同时禁止访问其它所有URL的功能。

需要特别注意的是Disallow与Allow行的顺序是有意义的，robot会根据第一个匹配成功的Allow或Disallow行确定是否访问某个URL。

使用”*”和”$”：Baiduspider支持使用通配符”*”和”$”来模糊匹配url。“$”匹配行结束符。“*”匹配0或多个任意字符。

robots.txt文件用法举例：

1.允许所有的robot访问

User-agent:*Allow:/或者User-agent:*Disallow:

2.禁止所有搜索引擎访问网站的任何部分

User-agent:*

Disallow:/

3.仅禁止Baiduspider访问您的网站

User-agent:Baiduspider

Disallow:/

4.仅允许Baiduspider访问您的网站

User-agent:Baiduspider

Disallow:

5.禁止spider访问特定目录

User-agent:*

Disallow:/cgi-bin/

Disallow:/tmp/

Disallow:/~joe/

6.允许访问特定目录中的部分url

User-agent:*

Allow:/cgi-bin/see

Allow:/tmp/hi

Allow:/~joe/look

Disallow:/cgi-bin/

Disallow:/tmp/

Disallow:/~joe/

7.使用”*”限制访问url

禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。

User-agent:*

Disallow:/cgi-bin/*.htm

8.使用”$”限制访问url

仅允许访问以”.htm”为后缀的URL。

User-agent:*

Allow:.htm$

Disallow:/

例9.禁止访问网站中所有的动态页面

User-agent:*

Disallow:/*?*

10.禁止Baiduspider抓取网站上所有图片

仅允许抓取网页，禁止抓取任何图片。

User-agent:Baiduspider

Disallow:.jpg$

Disallow:.jpeg$

Disallow:.gif$

Disallow:.png$

Disallow:.bmp$

11.仅允许Baiduspider抓取网页和.gif格式图片

允许抓取网页和gif格式图片，不允许抓取其他格式图片

User-agent:Baiduspider

Allow:.gif$

Disallow:.jpg$

Disallow:.jpeg$

Disallow:.png$

Disallow:.bmp$

12.仅禁止Baiduspider抓取.jpg格式图片

User-agent:Baiduspider

Disallow:.jpg$

如何写网站robots.txt

robots.txt撰写方法：

（1），允许所有的搜索引擎访问网站的所有部分或者建立一个空白的文本文档，命名为robots.txt。

User-agent:*Disallow:或者User-agent:*Allow:/

（2），禁止所有搜索引擎访问网站的所有部分。

User-agent:*Disallow:/

（3），禁止百度索引你的网站。

User-agent:BaiduspiderDisallow:/

（4），禁止Google索引你的网站。

User-agent:GooglebotDisallow:/

（5），禁止除百度以外的一切搜索引擎索引你的网站。

User-agent:BaiduspiderDisallow:User-agent:*Disallow:/

（6），禁止除Google以外的一切搜索引擎索引你的网站。

User-agent:GooglebotDisallow:User-agent:*Disallow:/

（7），禁止和允许搜索引擎访问某个目录，如：禁止访问admin目录；允许访问images目录。

User-agent:*Disallow:/admin/Allow:/images/

（8），禁止和允许搜索引擎访问某个后缀，如：禁止访问admin目录下所有php文件；允许访问asp文件。

User-agent:*Disallow:/admin/*.php$Allow:/admin/*.asp$

（9），禁止索引网站中所有的动态页面（这里限制的是有“？”的域名，如：index.php?id=8）。

User-agent:*Disallow:/*?*

robots.txt文件怎么写好？

如果希望收录而非屏蔽，什么都不要写！楼主去提交网站地图给se。请搞清楚robots.txt的概念：robots.txt是一个最简单的.txt文件，用以告诉搜索引擎哪些网页可以收录，哪些不允许收录。也就是说，和收录的快慢没直接关系。详情： 文件有什么必要？ :handshake

请问我的robots.txt的写法对吗？

robots文件用法 例1. 禁止所有搜索引擎访问网站的任何部分 User-agent: * Disallow: / 实例分析：淘宝网的 Robots.txt文件 User-agent: Baiduspider Disallow: / User-agent: baiduspider Disallow: / 很显然淘宝不允许百度的机器人访问其网站下其所有的目录。 例2. 允许所有的robot访问 (或者也可以建一个空文件 “/robots.txt” file) User-agent: * Allow: / 例3. 禁止某个搜索引擎的访问 User-agent: BadBot Disallow: / 例4. 允许某个搜索引擎的访问 User-agent: Baiduspider allow:/嗯 是这样的。对织梦实例如下：User-agent: * Disallow: /plus/ad_js.phpDisallow: /plus/advancedsearch.phpDisallow: /plus/car.phpDisallow: /plus/carbuyaction.phpDisallow: /plus/shops_buyaction.phpDisallow: /plus/erraddsave.phpDisallow: /plus/posttocar.phpDisallow: /plus/disdls.phpDisallow: /plus/feedback_js.phpDisallow: /plus/mytag_js.phpDisallow: /plus/rss.phpDisallow: /plus/search.phpDisallow: /plus/recommend.phpDisallow: /plus/stow.phpDisallow: /plus/count.phpDisallow: /includeDisallow: /templets嗯，我是过来学习的楼主的写法是正确的我对比过，织梦程序在ROBOT的写法是文件夹名字后不带斜杠，而discuz论坛程序的却是带斜杠的。在百度站长工具资料区显示，百度对于ROBOT的解析是这样子的：例如Disallow:/help禁止robot访问/help.html、/helpabc.html、/help/index.html，而Disallow:/help/则允许robot访问/help.html、/helpabc.html，不能访问/help/index.html。即不带斜杠则禁止的范围比较广。包括了在同级目录的相似名字网页文件而带斜杠只是禁止访问该目录下的。是这样子的！先是全部开放！然后再屏蔽admin这个目录下面的文件！好像有点问题