2016-1205

搜索引擎蜘蛛的有哪些特性

返回

  搜索引擎蜘蛛的有哪些特性

 

  搜索引擎蜘蛛(Spider)是一个很形象的名字(也称为机器人bot),它把互联网比喻成一个蜘蛛网,Spider就是在网上爬来爬去的蜘蛛。蜘蛛通过网页的链接地址来寻找网页,从网站某一个页面(通常是首页)开始,读取网页的内容,找到网页中的其他链接地址,然后过这些链接地址寻找下一个网页,这样一直寻找下去,直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。

  在通常情况下.蜘蛛完成某个网站的全部内容抓取以后,会隔一段时间又来看一下网站页面是否更新、是否有新产生的内容需要抓取,并根据网站的更新效率等因素逐渐养成爬行此网站的节奏。

  通常的说法是:蜘蛛的爬行特性是根据网站的更新节奏而来的,如果网站更新得越频繁,新内容越多,蜘蛛就会爬行得越快,随之而来的收录也就越快.所以,对搜索引擎优化来说,要获得好的排名的基础,就是保证网页的收录,保证蜘蛛对网站有良好的爬行节奏。在站长圈子中曾经有一种玩笑说法,叫做“圈养”蜘蛛,大概意思就是让蜘蛛保持对当前网站的热衷,提高爬行效率,增加网站内容收录的速度.这种说法虽然玩笑成分居多,但是从搜索引擎优化的角度而言,却是有一定道理的。简单来说,要达到“圈养”蜘蛛的目的需要两个条件:有足够多的新内容:这些新内容有良好的更新节奏。

搜索引擎蜘蛛的有哪些特性

  如果一个网站没有足够多的新内容,蜘蛛在爬行完成以后就会变得比较漱,来访问网站的节奏会逐渐延长,及时收录新页面的机会也就降低了.如果网站采用一次更新大量内容,然后长时间不更新的方式来建设内容,蜘蛛对新页面的抓取效率同样也不会高。基于上面的原因,对中小型网站而言就需要养成频繁更新、稳定更新内容的优秀节奏—要实现这样的效果,在解决了内容储备之后,如果有一个可以按照固定节奏,代替人工更新的插件就好了。