robotstxt写作(什么是Robotstxt协议)

什么是robots？其写作格式是什么？

robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，比如Windows系统自带的Notepad，就可以创建和编辑它[1]。robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

必须放置在一个站点的根目录下，而且文件名必须全部小写

User-agent:*这里的*代表的所有的搜索引擎种类，*是一个通配符

Disallow:/admin/这里定义是禁止爬寻admin目录下面的目录

Disallow:/require/这里定义是禁止爬寻require目录下面的目录

Disallow:/ABC/这里定义是禁止爬寻ABC目录下面的目录

Disallow:/cgi-bin/*.htm禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

Disallow:/*?*禁止访问网站中所有包含问号(?)的网址

Disallow:/.jpg$禁止抓取网页所有的.jpg格式的图片

Disallow:/ab/adc.html禁止爬取ab文件夹下面的adc.html文件。

Allow:/cgi-bin/这里定义是允许爬寻cgi-bin目录下面的目录

Allow:/tmp这里定义是允许爬寻tmp的整个目录

Allow:.htm$仅允许访问以".htm"为后缀的URL。

Allow:.gif$允许抓取网页和gif格式图片

Sitemap:网站地图告诉爬虫这个页面是网站地图

robots.txt文件怎么写

User-agent:*这里的*代表的所有的搜索引擎种类，*是一个通配符

Disallow:/admin/这里定义是禁止爬寻admin目录下面的目录

Disallow:/require/这里定义是禁止爬寻require目录下面的目录

Disallow:/ABC/这里定义是禁止爬寻ABC目录下面的目录

Disallow:/cgi-bin/*.htm禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

Disallow:/*?*禁止访问网站中所有包含问号(?)的网址

Disallow:/.jpg$禁止抓取网页所有的.jpg格式的图片

Disallow:/ab/adc.html禁止爬取ab文件夹下面的adc.html文件。

Allow:/cgi-bin/这里定义是允许爬寻cgi-bin目录下面的目录

Allow:/tmp这里定义是允许爬寻tmp的整个目录

Allow:.htm$仅允许访问以".htm"为后缀的URL。

Allow:.gif$允许抓取网页和gif格式图片

Sitemap:网站地图告诉爬虫这个页面是网站地图

本回答由提问者推荐

网站的robots.txt文件　　我网站在提交Sitemaps时

是防盗链系统阻止了GOOGLE的访问.

你可以重新设置防盗链系统,或者把ROBOT.TXT文件删除(而不是清空)

iAsk和robots.txt通常,一个搜索引擎要到世界各个网站

User-

Disallow:/*.php

robots.txt的写法、使用方法

User-agent: * Disallow:/admin Disallow:/php

robots.txt的写法

robots.txt的写法是做seo的人员必须知道的（什么是robots.txt），但该如何写，禁止哪些、允许哪些，这就要我们自己设定了。

百度蜘蛛是一机器，它只认识数字、字母和汉字，而其中robots.txt就是最重要也是最开始和百度“对话”的内容。

当我们的网站在没有建好的时候，我们不希望百度来抓取我们的网站，往往有人会禁止百度来抓取。但是，这种做法是非常不好的，这样会让百度蜘蛛很难再来到你的网站了。所以，我们必须现在本地搭建网站，等一切都搞好以后，再去买域名、空间，要不，一个网站的反复修改，会对你的网站有一定的不利影响。

我们的网站起初的robots.txt写法如下：

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

User-agent: * 的意思是，允许所以引擎抓取。

而Disallow: /wp-admin/和Disallow: /wp-includes/，则是禁止百度抓取我们的隐私，包括用户密码、数据库等。这样的写法既保护了我们的隐私，也让百度蜘蛛的抓取最大化。

如果，你想禁止百度蜘蛛抓取某一个页面，比如123.html，那就加一句代码“Disallow: /123.html/”即可。

robots.txt写好后，只需要上传到网站的根目录下即可。