假定您以了解一下专有名词含意:百度搜索引擎，spider（搜索蜘蛛），死链，权重值，搜索引擎排名 什么是robots协议书？ robots协议书是世界互联网界通用的职业道德，根据下列标准创建：
1、搜索技术应立足于人们，与此同时重视信息提供者的想法，并保护其个人隐私；
2、网站有责任维护其用户的私人信息和个人隐私不会被侵害。 什么是robot文档？ robots.txt是限定百度搜索引擎spider（或称之为蛛蛛）百度收录或抓取您网站信息的一种文档。搜索蜘蛛在搜索引擎中第一个浏览文件便是robot文档，自然，还可以并没有robot文档，但是spider会浏览你的网站中的所有网页页面。 robot文档有什么功效？ 屏蔽掉您页面的死链，限定spider抓取你的网站具体内容，维护您页面的个人隐私具体内容。比如你的后台管理文件目录，或是存在您个人信息网页页面或文件目录。 如果你页面的重复页面或死链太多，搜索蜘蛛会以为你的网站不好，使用价值比较低，就会下降您网站的权重，搜索引擎排名便会降低，假如创立了robot文档并写进了相对应规则，那样搜索蜘蛛也就不会抓取您限定页面，您网站的权重与排行就不会减少了。 如何建立robot文档 robot文档也没有什么特殊地区，就是一文本文档（txt）。新创建一个文本文档，随后重新命名为robots且在这个文档中撰写相对应规则，最终上传至网址跟文件目录就可以了，留意一定要放置在跟文件目录且文件夹名称一定要小写字母，否则就不能用了。 怎样撰写robot文档标准？ 也许您并没有太多时间来了解和懂得robot文档标准，那样大家可以形成robot文档标准，自然，你需要一定的英语基本，充分了解特殊的词汇。假定你有时间学习的话，就看下去下边规则。 现假定一个robot文档里边标准有： user-agent: * disallow: /admin/ disallow: /user/ 标准看做是：每一个搜索蜘蛛都不可以浏览网站根目录的admin文件目录与user目录。 那你现在很有可能就懂了，user-agent:后边键入是指欲限定搜索蜘蛛的名字，*为所有限定，baiduspider为限定百度搜索搜索蜘蛛不能浏览。 disallow:后边增加是指欲限定蛛蛛访问的文件目录名字。 留意，无论你一共有多少个disallow，只要有一个后边为空或是只有一个/图形的，便是因此文件目录都能够浏览。标记一定是英文符号。 robot文档只是一种标准，并非强制性管束搜索蜘蛛，必须搜索蜘蛛相互配合才有效，有一些spider会不管不顾你的robot文档,私自浏览你的限定网页页面。但是，从目前并且，绝大多数spider是坚守的robots.txt规矩的。