百度蜘蛛抓了多少页面并不是最重要的，重要的是有多少页面被建索引库，即我们常说的“建库”。众所周知，搜索引擎的索引库是分层级的，优质的网页会被分配到重要索引库，普通网页会待在普通库，再差一些的网页会被分配到低级库去当补充材料。目前60%的检索需求只调用重要索引库即可满足，这也就解释了为什么有些网站的收录量超高而流量却一直不理想。

　　那么，哪些网页可以进入重要索引库呢?其实总的原则就一个：对用户的价值。重要索引库中的网页包括却不限于：

　　(1)、有时效性且有价值的页面。在这里，时效性和价值是并列关系，缺一不可。有些站点为了产生时效性内容页面做了大量采集工作，产生了一堆无价值页面，是百度不愿看到的。

　　(2)、内容优质的专题页面。专题页面的内容不一定完全是原创的，即可以很好地把各方内容整合在一起，或者增加一些新鲜的内容，如观点和评论，给用户更丰富、全面的内容。

　　(3)、高价值原创内容页面。百度把原创定义为花费一定成本、大量经验积

　　累提取后形成的文章。伪原创不是原创。

　　(4)、重要个人页面。这里仅举一个例子，科比在新浪微博开户了，即使他不经常更新，但对于百度来说，它仍然是一个极重要的页面。上述优质网页进入了索引库，其实互联网上大部分网站根本没有被百度收录。但这并非是百度搜索没有发现它们，而是它们在建库前的筛选环节已被过滤掉了。什么样的网页在最初环节就被过滤掉了呢?

　　(1)、重复内容的网页：互联网上已有的内容，百度必然没有必要再收录。

　　(2)、主体内容空短的网页。

　　有些内容使用了百度蜘蛛无法解析的技术，如JS、Ajax等，虽然用户访问时能看到丰富的内容，但依然会被搜索引擎抛弃。加载速度过慢的网页，也有可能被当作空短页面处理。注意，广告加载时间也算在网页整体加载时间内。很多主体不突出的网页即使被抓取回来也会在这个环节被抛弃。

　　(3)部分作弊网页。