SEO优化

robot的重要性及robot的编写?

字号+ 作者:admin 来源:ChinaZ 2017-09-02 11:12 我要评论( )

robots.txt 是一个纯文本文件,当网络蜘蛛来抓取网站的时候,首先就是访问这个网站的robot.txt文件。所以网站管理者都会在 robots.txt 文件中声明该网站中不想被 robots 访问的部分,或者只允许指定的搜索引擎收录指定的内容。很明显robot.txt对我们做seo来

robots.txt是一个纯文本文件,当网络蜘蛛来抓取网站的时候,首先就是访问这个网站的robot.txt文件。所以网站管理者都会在robots.txt文件中声明该网站中不想被robots访问的部分,或者只允许指定的搜索引擎收录指定的内容。很明显robot.txt对我们做seo来说是很重要的。

下面来看看应该怎么写robot.txt?

1、user-agent和Disallow是robot里面的俩个重要的函数。


2、robot.txt的编写及范本:
例如:
允许所有的robot访问

User-agent: *
Disallow:

或者也可以建一个空文件 “/robots.txt” file

禁止所有搜索引擎访问网站的任何部分

User-agent: *
Disallow: /

禁止所有搜索引擎访问网站的几个部分(下例中的01、02、03目录)

User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/

禁止某个搜索引擎的访问(下例中的BadBot)

User-agent: BadBot
Disallow: /

只允许某个搜索引擎的访问(下例中的Crawler)

User-agent: Crawler
Disallow:

User-agent: *
Disallow: /


3、各大搜索引擎的蜘蛛名称
百度蜘蛛:baiduspider

google蜘蛛:googlebot
yahoo蜘蛛:slurp
alexa蜘蛛:ia_archiver
msn蜘蛛:msnbot
xaltavista蜘蛛:lycos_spider_(t-rex)
 lycos蜘蛛:lycos_spider_(t-rex)
alltheweb蜘蛛:fast-webcrawler/
inktomi蜘蛛:slurp

4、<meta name="robots" contect="all|none|index|noindex|follow|nofollow">

其中的属性说明如下:

设定为all:文件将被检索,且页面上的链接可以被查询;

设定为none:文件将不被检索,且页面上的链接不可以被查询;

设定为index:文件将被检索;

设定为follow:页面上的链接可以被查询;

设定为noindex:文件将不被检索,但页面上的链接可以被查询;

设定为nofollow:文件将不被检索,页面上的链接可以被查询

欢迎转载,转载请注明文章来源 郭威个人网站原文地址:http://www.sjzl618.com/a/shangye/227.html

转载请注明出处。

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
网友点评
尚未注册畅言帐号,请到后台注册