文章作者:资深网
搜索引擎利用蜘蛛对网页进行爬行,然后抓取这些内容并存入自己的庞大的数据库中,也就是我们经常说的“收录”,再经过一系列处理,最后当用户搜索某个关键词时返回与之相对应的搜索结果。
从以上所说的这个角度而言,保证蜘蛛抓取网页是重要的环节,那么对搜索引擎优化来说,如何让搜索引擎蜘蛛第一时间发现网站上的最新信息并收录就是一个很重要的方面。
一、蜘蛛的特性与收录
在与大家谈分享蜘蛛的特性与收录之前,首先我们一起来看看什么叫搜索引擎蜘蛛?所谓搜索引擎蜘蛛也就是大家说的爬虫(spider)这是一个很形象的名字,同时也被大家称为机器人bot, 它把互联网比喻成一张蜘蛛网,spider 就是在网页上爬来爬去的蜘蛛。
蜘蛛通过网页的链接地址来寻找网页,从网站某一个页面(这里通常是指网站首页)开始,读取网页的内容,找到网页中的其他链接地址,然后再通过这些链接地址寻找下一个网页,就这样周而复始的寻找下去,直到把这个网站所有页面都抓取完为止。
如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。
在通常情况下,蜘蛛完成某 网站的全部抓取以后,会隔一段时间又来看下网站页面是否更新,是否有新产生的内容需要抓取,并根据网站的更新效率等因素逐渐养成爬行此网站的节奏。
一般情况下的说法是,蜘蛛的爬行特性是根据网站的更新节奏而来的,如果网站更新得越频繁,新内容就越多,蜘蛛就会爬行得越快,随之而来的收录也就越快。所以,对搜索引擎优化来说,要想一个网站获取一个好的排名基础,就是保证网页收录,保证蜘蛛对网站有良好的爬行节奏。
二、稳定的更新节奏与“圈养蜘蛛”
在以往的站长圈中有一种玩笑说法,叫做“圈养”蜘蛛,大概意思就是让蜘蛛保持对当前网站的热衷,提高爬行效率,增加网站内容收录的速度。这种说法虽然玩笑成分较多,但是从搜索引擎优化的角度而言,确实有一定道理的。
简单来说,要达到“圈养”蜘蛛的目的需要两个条件,1、有足够多的新内容。2、这些新内容有良好的更新节奏。
如果一个网站没有足够多的新内容,蜘蛛在爬行完成以后就会变得很不“勤快”了,来访问网站的节奏会逐渐延长,及时收录新页面的机会也就随之降低了。如果网站采用一次更新大量内容,然后长时间不更新的方式来建设内容,蜘蛛对新页面的抓取效率同样也不会高。
基于上面的原因,对中小型网站而言就需要养成频繁更新、稳定更新内容的优秀节奏,要实现这一的效果,在解决了内容储备之后,如果有一个可以按照固定节奏,代替人工更新的插件就好了。
至于寻找什么样的插件或软件来代替人做规律性、定时定量地更新网站内容,时常保持网站内容更新的频率和数量,大家可以百度下,在如今的CMS系统开源时代相信大家可以找到一款适合自己的插件,自己制定个阶段性的时间表,按照计划强烈执行。