对SEO中文网站强化相关人员而言,中文网站的每两个小的技术细节都非常重要,都是他们须要去强化处置的,如:Sitmap、H1、ALT条码、404、301等,在后面我早已讲过这边列出的那些了,那时小贴士佛山SEO刘红为他们来传授呵呵Robots,甚么是RobotS?Robots文档该怎样手写?

robots(robots什么意思)-第1张

甚么是Robots?

Robots协定(也称作食腐协定、机器协定等)的全名是互联网食腐须建国际标准(Robots Exclusion Protocol),中文网站透过Robots协定说

浏览器甚么样网页能截取,甚么样网页无法截取。

Robots文档该怎样手写?

先在公交站点的根产品目录下增建两个robots.txt文本文档。当搜寻蝎子出访那个公交站点时,它会具体而言检查和该公交站点根产品目录下与否存有robots.txt,假如存有,搜寻蝎子就会先加载那个文档的文本:

文档读法

User-agent: * 这儿的*代表者的大部份的浏览器类型,*是两个纯虚

Disallow: / 这儿表述是明令禁止爬寻公交站点大部份的文本

Disallow: /admin/ 这儿表述是明令禁止爬寻admin产品目录上面的产品目录

Disallow: /ABC/ 这儿表述是明令禁止爬寻ABC产品目录上面的产品目录

Disallow: /cgi-bin/*.htm 明令禁止出访/cgi-bin/产品目录下的大部份以".htm"为后缀的URL(包含子产品目录)。

Disallow: /*?* 明令禁止出访中文网站中大部份包含问号 (?) 的网址

Disallow: /.jpg$ 明令禁止截取网页大部份的.jpg格式的图片

Disallow:/ab/adc.html 明令禁止爬取ab文档夹上面的adc.html文档。

Allow: /cgi-bin/ 这儿表述是允许爬寻cgi-bin产品目录上面的产品目录

Allow: /tmp 这儿表述是允许爬寻tmp的整个产品目录

Allow: .htm$ 仅允许出访以".htm"为后缀的URL。

Allow: .gif$ 允许截取网页和gif格式图片

Sitemap: 中文网站地图 说食腐那个网页是中文网站地图

上面列出来的是比较出名的浏览器蝎子名称:

Google的蝎子: Googlebot

百度的蝎子:baiduspider

360的蝎子:360spider

SOGOU的蝎子:Sogou web spider/4.0和Sogou inst spider/4.0

按照以上的说明,小贴士佛山SEO刘红给他们两个案例参考,,以360的而言,明令禁止截取的robots.txt代码读法如下:

User-agent: 360spider

Disallow: /goods.php

Disallow: /category.php

本文出自佛山SEO刘红博客:http://www.yunmajp.com/371.html