有时你会莫名其妙地发现你的主页的内容在一个搜索引擎中被索引，即使你从未与他 们有过任何联系。其实这正是Web Robot的功劳。Web Robot其实是一些程序，它可以 穿越大量Internet网址的超文本结构，递归地检索网络站点所有的内容。这些程序有时被叫 “蜘蛛（Spider）” ， “网上流浪汉（Web Wanderer）”，“网络蠕虫（web worms）”或Web crawler。一些Internet网上知名的搜索引擎站点（Search Engines）都 有专门的Web Robot程序来完成信息的采集，例如Lycos，Webcrawler，Altavista等，以及中文搜索引擎站点例如北极星，网易，GOYOYO等。
Web Robot就象一个不速之客，不管你是否在意，它都会忠于自己主人的职责，任劳 任怨、不知疲倦地奔波于万维网的空间，当然也会光临你的主页，检索主页内容并生成它所需要的记录格式。或许有的主页内容你乐于世人皆知，但有的内容你却不愿被洞察、索引。你可以用以下方法布置下路标，告诉Web Robot应该怎么去检索你的主页，哪些可以检索，哪些不可以访问。
a. Robots Exclusion Protocol 协议
网络站点的管理员可以在站点上建立一个专门格式的文件，来指出站点上的哪一部分 可以被robot访问, 这个文件放在站点的根目录下，即http://.../robots.txt. 当Robot访问一个 Web 站点时，比如http://www.sti.net.cn/，它先去检查文件http://www.sti.net.cn/robots.txt。如果这个文件存在，它便会按照这样的记录格式去分析：
User-agent: *
Disallow: /CGI-bin/
Disallow: /tmp/
Disallow: /~joe/
以确定它是否应该检索站点的文件。 在一个站点上只能有一个 "/robots.txt" 文件，而且文件名的每个字母要求全部是小写。在Robot的记录格式中每一个单独的"Disallow"行表示你不希望Robot访问的URL， 每个URL必须单独占一行，不能出现 Disallow: /CGI-bin/ /tmp/"这样的病句。同时在一个记录中不能出现空行，这是因为空行是多个记录分割的标志。
User-agent行指出的是Robot或其他代理的名称。在User-agent行，'*' 表示一个特殊的含义---所有的robot。
下面是几个robot.txt的例子：
在整个服务器上拒绝所有的robots：
User-agent: *
Disallow: /
允许所有的robots访问整个站点：
User-agent: *
Disallow:
或者产生一个空的 "/robots.txt" 文件。
服务器的部分内容允许所有的robot访问
User-agent: *
Disallow: /CGI-bin/
Disallow: /tmp/
Disallow: /private/
拒绝某一个专门的robot：
User-agent: BadBot
Disallow: /
只允许某一个robot光顾：
User-agent: WebCrawler
Disallow:
User-agent: *
Disallow: /
b、Robots META tag
一个网页作者可以使用专门的HTML META tag ，来指出某一个网页是否可以被索引、分析或链接。 这些方法适合于大多数的Web Robot，至于是否在软件中实施了这些方法，还依赖于 Robot的开发者，并非可以保证对任何Robot都灵验。如果你迫切需要保护自己内容，则应考虑采用诸如增加密码等其他保护方法。
Robots META tag指令使用逗号隔开，可以使用的指令包括 [NO]INDEX 和[NO]FOLLOW。INDEX 指令指出一个索引性robot是否可以对本页进行索引；FOLLOW 指令指出robot是否可以跟踪本页的链接。缺省的情况是INDEX和FOLLOW。例如：
<meta name="robots" content="index,follow">
<meta name="robots" content="noindex,follow">
<meta name="robots" content="index,nofollow">
<meta name="robots" content="noindex,nofollow">
c. 提高排名的几点技巧
用关键字的复数形式， （如，用"books"来代替"book",那么，当有人查询book或者books时， 你的站点都会呈现在他面前）
关键字的大写和小写多种拼写方式都用上。 （如：books,Books,BOOKS）同一个单词的三种以上的拼写方式并不会起到多大作用，尽管通常的错误拼写倒能奏效。
用你选定的关键字的组合方式。人们经常使用包含2或2个以上关键字的短语来搜索。 （如："storage facilities","STORAGE FACILITIES" 为了真正找准你的目标市场，加上"self, "SELF"和"你的城市/州" 等单词。那些不需要你的产品和服务的访问者即便再多，也没什么价值。
必须使用META值。 许多搜索引擎都是根据这些META值为你的站点做索引的。META值位于你页面HTML中的<head>和</head>之间，并不会在你的页面中显示出来。为了更精确的使用这些META值。可以找一个排名最高的站点的源文件来做些参考分析。
使用你10到20个最好的关键字的组合。 关键字丰富的META内容通常都是你站点排名的决定性因素。
提示：如果可能，尽量在每一段的开头或者搜索短语较靠前 的位置使用你最具代表性的关键字。
用关键字来填满你图象链接中的ALT值。
你站点中的每一页都应该单独登录到搜索引擎，而不仅仅是登录了首页就结束了。
提示：许多搜索引擎都会定期对你的站点重新检索，如果站点上没有变化你的排名可就会下降了，所以，保持你的站点常新。
为你的每一个主要的关键字创造或定制一个独立的页面， 并为每个主要的搜索引擎单独设计。 这会花上些时间，但是，一旦你做好了，将会令人不可置信的 提高你的排名。
提示：确保每个页面都能直接链接到首页以及其它一些相关页面。
警告！过去很多人投机取巧，滥用关键字来取得更高的排名。就是将自己的关键字一再重复使用，并改变文字颜色使之适应页面背景色。现在如果一旦发现你这么做了，大多数搜索引擎都会采取惩罚措施。
BK网络学院主要内容：平面设计教程,网站开发在线教程,网页制作教程,服务器教程,网络编程,数据库教程等。