• 记录生活,发现同好!--个人生活点滴记录博客

网站地图和全站链接怎么分配蜘蛛

个人博客吧 次浏览

1、网站地图

假设首页获得1000个蜘蛛,有800个蜘蛛导向了那些最重要的页面。 有100个被NOFOLLOW 链接消耗掉(NOFOLLOW 仍然会消耗蜘蛛,但是为其它蜘蛛提供了更多爬行时间,所以仍是有利的),还有100个跑向了网站地图。网站地图是全站显示的一个重要链接,他的任务是不考虑用户体验的情况下,如何把蜘蛛合理分配到全站,确保每个页面都有机会抓取!

2、全站链接

主要用在小型网站(不超过10个词的排名),可以放在全站每一页做链接来增加排名,其目的就是使蜘蛛来到每一页后都有机会来到该链接,从而一次次增加其权重。而对于大型网站,全站链接则是为了提升这些“重要页”或“中转页”的蜘蛛量,从而通过这些页面中转到更多的页面中。

举例 800 个蜘蛛进入了重要页或中转页。其中有100个是需要排名的直接页面,另外700个则是分配者,他们链接了10000个页面。那么这10000个页面在一个月内几乎都有可能被蜘蛛跑一次。从而达到了按需供给的目标:需求量大的页面蜘蛛每天跑几次,需求量小只为 收录的页面或是排名很容易的页面,蜘蛛每几天才会跑一次。达到了全站的最优化处理。

如B2B网站上的产品行业分类并没有在全站显示,但在很多页面上都有,通过这些链接,会把蜘蛛再分配一次。合理运用好网站地图和全站链接,是对网站内部的页面作一次重要分配,这是内部优化重要的部分。

网站地图和全站链接怎么分配蜘蛛

那么网站该做成什么样的结构使得蜘蛛能够做到最好的按需分配呢?

先列出一共有多少种页面:

首页、重要页、中转页、长尾页、普通页——所有网站的页面都可以归类到这5类。

首页:首页我们一般做战略词的排名,也有的就直接放弃了;重要页:排名难度较大的页面; 中转页:不需要排名,但是一般是分类功能,用户从此链接可以点向更多他需要的页面。比如说网址导航网站的“更多网站”。

长尾页:做一些难度不大的词的排名; 普通页:不刻意追求排名,但需要保证收录的页面。但也许这些页面也会获得很大的流量,因为数量巨大。比如论坛的一些贴子。

网站的内部大概就只会出现这些页面。分布方法:

1、首页中一般把蜘蛛引导进重要页和中转页,如果出现长尾页和普通页,那么一般设置成 NOFOLLOW; 2、重要页中转页上出现尽可能多的长尾页普通页,由他们作二次蜘蛛中转,尽可能分配给他们; 3、重要页一般在保持用户体验的情况下作为全站链接(或在首页及其它重要页上加上链接),尽可能分配到足够多的蜘蛛; 4、在重要页上,保持用户体验的情况下,多安排点长尾页的链接; 5、网站地图内放上全部的重要页、中转页、也可以放上长尾页; 6、从重要页或中转页,点击到普通页,尽量不要超过 2步-3步,这样普通页的收录就会不成问题。

注意:这5类的区分并不那么明显,有的页既是重要页,又是中转页;有的页又是介于长尾页和重要页的中间。普通页中也会出现长尾页(如一个贴子做了一个还算不错的关键词排名,为了使其排名更好,则在中转页或重要页上将其突出一下),其核心原则是“按需分配”,调整平衡。

当然了,以上是粗略的分析,一般我们做SEO,是先经过这样粗略的分析,实现一些最基础的目标,而如果我们的最终目标是接近完美,那么——就是要借助于数据研究了(互联网的任何动作都离不开数据研究)!


本文由MAOLAI博客编辑整理发布,欢迎分享,转载请注明出处!