搜索引擎索引原理

搜索引擎收录原理

搜索引擎索引页面实际上是互联网上的数据收集，是搜索引擎最基本的工作。搜索引擎的数据采集能力直接决定了搜索引擎能够提供的信息量和互联网覆盖范围，从而决定了搜索引擎的质量。因此，搜索引擎总是想方设法提高其数据收集能力。 （北京网出品）

1.页面采集流程

在互联网中，URL是每个页面的入口地址，搜索引擎蜘蛛程序通过URL抓取页面。搜索引擎蜘蛛程序从URL列表开始，通过URL抓取并存储页面；同时，将原始页面中的URL资源提取出来，加入到URL列表中。这样一个连续的循环可以从互联网上获得足够的页面。

网址是页面的入口，域名是网站的入口。搜索引擎蜘蛛程序通过域名进入网站，从而对网站页面进行抓取。也就是说，搜索引擎在互联网上抓取页面的首要任务就是建立一个足够大的域名列表，然后通过域名进入相应的网站，从而抓取网站中的页面。

对于一个网站来说，要想被搜索引擎收录，首要条件就是加入搜索引擎的域名列表。下面向读者介绍两种常用的加入搜索引擎域名列表的方法。

首先，使用搜索引擎提供的网站登录入口，将网站域名提交给搜索引擎。比如Google的网站登录地址是https://www.google.com/intl/zh-CN/webmasters/#?modal_active=none，这里可以提交自己的网站域名。搜索引擎只会定期更新提交的域名列表。所以这种方式比较被动，从域名提交到网站收录需要很长时间。

二、通过与外部网站建立链接关系，搜索引擎可以通过外部网站发现我们的网站，从而实现对网站的收录。这种方式的主动权掌握在我们自己手中（只要我们有足够多的优质链接），县级收录速度比主动提交给搜索引擎要快很多。根据外链的数量、质量和相关性，一般情况下，2-7天左右会被搜索引擎收录。

2.页面采集原理

通过以上介绍，相信读者已经掌握了网站被搜索引擎收录的方法。但是，如何才能增加网站收录的页面数量呢？要回答这个问题，有必要了解搜索引擎索引页面的工作原理。

如果把网站页面的集合看成一个有向图，从指定的页面开始，沿着页面中的链接，按照特定的策略遍历网站中的页面。不断从URL列表中剔除访问过的URL，存入原页面，提取原页面中的URL信息；然后将URL分为两类：域名和部分URL，同时判断资源。经过这些工作，搜索引擎可以建立一个庞大的域名列表、页面URL列表并存储足够多的原始页面。

3.页面采集方法

上面已经介绍了搜索引擎索引页面的过程和原理。然而，在互联网上亿万的页面中，搜索引擎如何抓取比较重要的页面呢？这就是搜索引擎索引页面的方式。

页面索引法是指搜索引擎用来抓取页面的策略，目的是过滤掉互联网上比较重要的信息。页面收录方法的制定取决于搜索引擎对网站结构的理解。如果使用相册的爬取策略，搜索引擎可以在同一时间段内抓取到某个网站更多的页面资源，在该网站停留的时间会更长，收录的页数自然也会增加多一点。许多。因此，加深对搜索引擎页面收录方式的理解，有利于为网站建立友好的结构，增加收录页面的数量。

广度优先

如果把整个网站看作是一棵树，首页就是根，每个页面就是叶子。广度优先是一种横向的页面抓取方式，先从树的较浅层开始抓取页面，直至抓取完同层次的所有页面后才进入下一层。因此，在对网站进行优化时，我们应该把网站中相对重要的信息展示在层次较浅的页面上（例如，在首页上推荐一些热门产品或者内容）。反过来，通过广度优先的抓取方式，搜索引擎就可以优先抓取到网站中相对重要的页面。(高端网站建设)
        首先，搜索引擎从网站首页出发，抓取首页上所有链接指向的页面，形成页面集合A，并解析出集合A中所有页面的链接；再跟踪这些链接抓取下一层的页面，形成页面集合B；就这样递归地从线层页面中解析出链接，从而抓取深层页面，直至满足了某个设定的条件才停止抓取进程。

       >>深度优先
       与广度优先的抓取方式相反，深度优先首先跟踪线层页面中的某一链接逐步抓取深层页面，直至抓取完最深层的页面后才返回浅层页面再跟踪其另一链接，继续向深层页面抓取，这是一种页面，这样就能满足更多用户的需求。