数据分析系统，是处理搜索引擎蜘蛛抓取回来的网页，那么数据分析这一块又分为了一下几个：
1、网页结构化
简单的说，就是把那些html代码全部删掉，提取出内容。
2、消噪
消噪是什么意思呢？在网页结构化中，已经删掉了html代码，剩下了文字，那么消噪指的就是留下网页的主题内容，删掉没用的内容，比如版权！
3、查重
查重比较好理解，就是搜索引擎查找重复的网页与内容，如果找到重复的页面，就删除。
4、分词
分词是神马东西呢？就是搜索引擎蜘蛛在进行了前面的步骤，然后提取出正文的内容，然后把我们的内容分成N个词语，然后排列出来，存入索引库！同时也会计算这一个词在这个页面出现了多少次。河北华信智原大数据人才培养基地已实现大学生对口专业就业
5、链接分析
这一个步骤就是我们平时所做的做烦躁的工作，搜索引擎会查询，这个页面的反向链接有多少，导出链接有多少以及内链，然后给这个页面多少的权重等。
数据索引系统
在进行了上边的步骤之后，搜索引擎就会把这些处理好的信息放到搜索引擎的索引库中。那么这个索引库又大致分为以下两个系统：
正排索引系统
什么是正排索引？简单的说，就是搜索引擎把所有URL都加上一个编号，然后这个编号对应的就是这个URL的内容，包括这个URL的外链，关键词密度等等数据。
搜索引擎简单的工作原理概况
搜索引擎蜘蛛发现连接 → 根据蜘蛛的抓取策略抓取网页 → 然后交到分析系统的手中 → 分析网页 → 建立索引库
