什么是robots协议对seo的影响

robots协议的作用

什么是robots协议

蜘蛛spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围
。早期robots协议是防止网站内的隐私,防止抓取用户不想让搜索引擎曝光的页面。

robots.txt文件位置

robots.txt文件应该放置在网站根目录下。比如https://www.vi586.com/robots.txt这个文件

robots一般格式

User-agent: *
Disallow: 
allow:

robots不支持中文

百度蜘蛛目前在robots里不支持中文,如果路径里面带了中文,可以选择UrlEncode编码的写法,如

http://www.xx.com/tags/%D7%B0%D0%DE%CE%AC%BB%A4%B1%A3%D1%F8.html

"*"和"$"的含义

Baiduspider支持使用通配符"*"和"$"来模糊匹配url。

"$" 匹配行结束符。
"*" 匹配0或多个任意字符。

robots协议对seo优化的影响

1.屏蔽隐私内容或无内容页面。前面提到蜘蛛的爬取对索引量有着重要的作用
,能缩短收录周期。蜘蛛一般都会全站爬取内容,但有些质量一般的页面被抓取会影响整体排名,比如:登陆页、注册页、购物车、表纲、个人隐私文件等。

2.屏蔽某些动态的内容屏蔽
,如:tag标签,在刚开始的时候尽量屏蔽蜘蛛抓取,到后期稳定的时候再整理后开放。tag标签的作用可以参考《TAG标签的正确用法》

3.屏蔽重复内容页面。如:多个页面无内容或空评论;不同路径打开的页面都一样。跟带www和不带www的页面说法不一样,可以把这两个页面301重定向到其中一个,集中权重。

4.屏蔽死链接。一般的死链会返回404错误,当然站内错误或服务器问题,是无法屏蔽的。

robots的主要功能

1.禁止蜘蛛抓取

dede后台有很多php、js、css等内容,但这些内容对排名没有太大作用,可以使用disallow禁止抓取

User-agent: sogou spider
Disallow: /

代表禁止搜狗蜘蛛进行抓取,在中国大陆范围内,一般的企业网站只要百度蜘蛛,谷歌蜘蛛,360蜘蛛
就可以了,其他蜘蛛频繁抓取网站会造成网站访问速度受到影响。如果禁止这些蜘蛛进行抓取,搜索引擎认为你是不友好的。

2.引导蜘蛛抓取

Sitemap: http://www.vi586.com/sitemap.xml

以上字段是引导蜘蛛按照sitemap网站地图的要求抓取。蜘蛛的抓取顺序是按照编写自上而下,如果控制得越精确,则遵循精确的规则。

3.控制抓取范围

该行有符号“/”,代表着只包含该栏目下的文章/目录/子类,不包含本身;

反之无“/”,代表包含包含该栏目下的文章/目录/子类和本身。

4.举例最常见的robots.txt写法

DedeCMS的robots的写法:

User-agent: *
Disallow: /plus/ad_js.php
Disallow: /plus/advancedsearch.php
Disallow: /plus/car.php
Disallow: /plus/carbuyaction.php
Disallow: /plus/shops_buyaction.php
Disallow: /plus/erraddsave.php
Disallow: /plus/posttocar.php
Disallow: /plus/disdls.php
Disallow: /plus/feedback_js.php
Disallow: /plus/feedback.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /plus/heightsearch.php
Disallow: /tags.php
Disallow: /member
Disallow: /include
Disallow: /templets
User-agent: sogou spider
Disallow: /
User-agent: MSNBot
Disallow: /
User-agent: Slurp
Disallow: /
User-agent: Teoma
Disallow: /
User-agent: Gigabot
Disallow: /
User-agent: Scrubby
Disallow: /
User-agent: Robozilla
Disallow: /
User-agent: Nutch
Disallow: /
Sitemap: http://www.zuola.net/sitemap.xml

这里要注意网站地图网站robots的最后面
,让搜索引擎先遵循抓取范围再引导抓取结构。

robots安全重要说明

robots不管是对搜索引擎还是对任何人都是可以访问的,容易暴露某些隐私或后台程序,而每个建站程序都有漏洞,树大才招风,黑客利用这些漏洞做些不好的事情,后果不堪设想。一般的大型网站都是自己搭建程序,成本较高,漏洞也较少(只是没那么多人攻击)。

对DEDE、DZ、PW等使用的比较多的建站程序,有很多开源的功能,没有经验的站长很容易成为别人的“肉鸡”,经常检查自己网站的外链、快照情况就能发现是不是被人动了手脚。查看文章《别让网站的robots成为最大的漏洞》。