robots.txt协定是中文网站和浏览器的协定。

做为中文网站强化相关人员,很大要会看robots文档,也要会写robots文档,所以,robots.txt文档有甚么促进作用?

robots.txt文档的促进作用有:

(1)鼓励浏览器蝎子截取选定文本或版块。比如说,有的是中文网站部份文本,多于注册登记团体会员后,进占团体会员机能就能看见更多文本。

(2)中文网站更新或是URL须要改写强化的这时候过滤对浏览器不亲善的镜像。

(3)过滤死镜像、404网页;

(4)过滤无文本网页、无商业价值网页;

(5)过滤多次重复网页,如搜寻结论页、文章网页等;

(6)过滤任何人不该收录于网页;

(7)鼓励蝎子截取中文网站世界地图。

中文网站增设robots.txt能中央集权到中文网站关键网页,为保护中文网站安全可靠。

晓得了robots.txt的促进作用和增设robots.txt的迫切性后,我要是晓得robots.txt是不是写?

User-agent:Baiduspider

Disallow:/

明令禁止腾讯截取

User-agent:*

Disallow:/

不允许所以蝎子截取

User-agent:Baiduspider

Disallow:/baidu/

明令禁止访问/baidu/里面的所有文档夹

User-agent:*

Disallow:/baidu/huaxia.js

紧张蝎子截取某个文档夹下面的某个文本

晓得了这些,我们就根据robots.txt文档的写法和实际须要。把写好的robots.txt文档,通过FTP中文网站后台打开上传中文网站跟目录就能了。

为了方便各位朋友学习,robots.txt文档我们举例写一下,供须要学习的朋友参考:

User-agent: *

Disallow: /baidu/huaxia.js

选定所有浏览器蝎子截取站点根目录下/baidu/文档夹下的huaxia.js文档

User-agent: *

Allow: /baidu/ccc

Disallow: /baidu/

明令禁止所有浏览器截取baidu文档夹

但能截取腾讯文档夹下含有ccc的文档及文档夹

User-agent: *

Disallow: /*.js$

明令禁止截取站点根目录所有js文档

User-agent: *

Disallow: /*.css$

明令禁止截取站点根目录下所有css文档

User-agent: *

Disallow: /*?*

明令禁止蝎子截取所有动态路径

Sitemap: 域名/sitemap.xml

中文网站世界地图写法

robotstxt(robotstxt在哪里看)-第1张

robots.txt书写规格

robots.txt文档书写注意事项:

英文符号下写;

冒号后要有空格;

首个字母要大写;

/ 中文网站根目录(中文网站所有)

其实,robots.txt文档,只要熟悉理解代码,书写和应用很简单。