- N +

搜索引擎和搜索引擎蜘蛛详解

什么是搜索引擎?

搜索引擎,即search engine,简单点说,就是万维网环境中的信息检索系统(包括目录服务和关键字检索两种服务方式)。就是为了使网民搜索信息的速度更加快捷、准确,专门在Internet上执行信息搜索任务。常见的搜索引擎有百度、谷歌、搜搜等。

搜索引擎和搜索引擎蜘蛛详解

什么是搜索引擎蜘蛛?

搜索引擎蜘蛛又称为网络爬虫。是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。搜索引擎蜘蛛是一个自动抓取互联网上网页内容的程序,每个搜索引擎都有自己的蜘蛛。

国内各大搜索引擎蜘蛛名称:百度:百度spider、谷歌:googlebot、搜狗:sogouspider、搜搜:Sosospider、360搜索:360Spider、有道:YodaoBot、雅虎:YahooSlurp、必应:msnbot、Msn:msnbot等。

搜索引擎蜘蛛爬行

搜索引擎蜘蛛是一个程序,这个程序是为把互联网上的网页读取后放入搜索引擎缓存数据库中而设计的。所指的爬行,就是搜索引擎蜘蛛程序按网址进行取回网页内容的过程,因搜索引擎机器人称蜘蛛程序,所以有人将这一过程称做爬行(蜘蛛行动是沿网爬行的)。只要提供一个网址给此程序,他就会自动提取回该网址对应的网页,并且可以沿此网页上的链接网址,进一步的提取其它的对应的网页。

怎么屏蔽搜索引擎蜘蛛抓取

robots.txt文件规则的写法很简单,比如需要屏蔽某一个搜索引擎的蜘蛛访问所有目录,就这样写:

User-agent:Googlebot

Disallow:/

再比如禁止所有蜘蛛访问、抓取某一个目录则:

User-agent:*

Disallow:/admin/

以上就是进行搜索引擎的的一个详细讲解,如果些什么没有讲到或者想了解的地方,可以进行在线咨询或者留言。

返回列表
上一篇:网站优化五个细节让用户爱上你的网站
下一篇:企业网站推广的方法和技巧有哪些?