在前面,临沂seo提到搜索引擎的工作流程,蜘蛛理论上能够爬行所有的网页并且抓取页面,但是实际中并不是这样的,互联网上有太多的页面需要被收录,所以蜘蛛会尽量抓取相对重要的页面。哪些页面对于蜘蛛更重要呢?有以下几个因素。
1、网站和页面的权重。权重比较高的网站更容易被蜘蛛信赖,页面蜘蛛爬行的更深更广,新页面收录也快。
2、页面更新度。如果蜘蛛抓取新页面后,第二次爬行后页面仍然是同样的内容,则认为页面没有更新内容,也就不再爬行。如果页面经常保持更新,蜘蛛每次爬行都能有新的内容,则蜘蛛会经常爬行抓取新页面。那么如何让网站保持更新?
3、与首页的距离。一般情况下,网站的首页是权重最高的,很多链接指向首页,蜘蛛爬行也最频繁。如果页面距离首页点击距离越近,越容易被收录。
4、导入链接。一个页面有导入链接的情况下才会被蜘蛛抓取,无论是外部链接还是本站的内部链接,只要有链接导入该页面,蜘蛛才知道这个页面的存在。所以有高权重的导入链接页面对于蜘蛛就更加重要。
