快捷搜索:  seo  404  as  sd  收录  seo) and 1=2 (  劫持  死链

武汉seo:robots.txt写法和作用

在《robots和noindex使用和区别》,我们已经介绍了简单的robots.txt写法,但很多朋友还是不太了解robots.txt究竟有什么用?
那么今天武汉seo小编来详细讲解一下robots使用技巧。
武汉seo:robots.txt写法和作用
1.什么是Robots?
robots文件的使用相信很多站长都会比较熟悉,但是在细节上会有所疏忽,不是特别的精通。因为robots优化的相
关信息搜索引擎并没有给出比较详尽的声明及运用方法,以及每个站长对于robots的需求不同等特点,导致robot的
优化方式更加灵活善变,那么robots到底是什么呢?我们可以简单的理解为通过这个robots位于网站根目录的文件
协议来告诉蜘蛛哪些是可以访问收录哪些是不可以访问收录的!当蜘蛛访问您的网站的时候他首先会先检测您的网
站是否设置的有robots文件协议,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不
存在,那么搜索机器人就会沿着链接抓取。

2:robots.txt作用:
为何要用robots.txt来屏蔽我们的部分网页拒绝搜索引擎抓取?比如:后台管理文件、程序脚本、附件、样式表文件、模板文件等等。
这些页面或文件被搜索引擎收录了,用户也看不了,多数需要口令或是权限才可以查看。既然这样,就不如用
robots.txt告诉机器人集中注意力去收录我们的文章页面。增强用户体验,提升网站SEO优化效果。

3:.Robots优化写作方法:
首先,我们来看一个robots.txt范例:
# robots .txt file from http://www.seozf.com
#All robots will spider the domain
User-agent:.
Disallow:
以上文本表达的意思是允许所有的搜索机器人访问www.seozf.com站点

下的所有文件。具体语法分析如下。
#后而文字为说明信息;
 User-agent后面为搜索机器人的名称,如果是“。”,则泛指所有的搜索机器人;
 Disallow后面是不允许访问的文件目录,如目录为空则不起任何禁止作用。
下而,列举一些robots.txt的具体用法。  允许所有的robot访问,格式如下:
User-agent:.
Disallow:
或者也可以建一个空robots.txt文件。
 禁止所有搜索引擎访问网站的任何部分,格式如下:
User-agent:.
Disallow:/
禁止所有搜索引擎访问网站的某几个部分,比如下例中禁止访问01, 02, 03
目录:
User-agent
Disallow:/aa/
Disallow:/bb/
Disallow:/cc/
禁止某个搜索引擎的访问,比如下例中的BadBot:
User-agent:BadBot
Disallow:/
只允许某个搜索引擎的访问,比如下例中的Crawler:
User-agent:Crawler

以上就是robots.txt写法和作用你学会了吗?

您可能还会对下面的文章感兴趣: