浅析大数据

“大数据”是一个数量特别多,数据类别特别大的数据集。大数据技术是指从各种各样类型的巨量数据中,快速获得有价值信息的技术。目前所说的“大数据”不仅指数据本身的规模,也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域,通过解决巨量数据处理问题促进其突破性发展。在本文中,我们将介绍大数据产生的背景,以及跟大数据相关的技术,如并行计算、物联网、数据中心和Hadoop。讨论大数据的几种有代表性的应用,包括在百货公司、彩票行业、超市、零售业等方面的典型应用。讨论这些目的是给读者提供一个全面的概述。     

基于标题与文本距离的网页去噪算法的研究

使用STU-DOM这种网页提取技术,在实际操作过程中,在对不含超级链接的网页噪音进行判断时,准确性较低,同时,这种技术也不能有效处理DIV、TABLE标签中的正文信息。这是一种效果比较差的网页去噪技术。本文针对STU-DOM树在提取网页过程中出现的相关问题,比较分析当前几种常见的技术方法,在此基础上使用合适的技术升级扩展STU-DOM树,通过计算网页标题与结点词共现频率,然后分析文本间的相似度,得到标题与文本距离,实现网页正文提取。实验结果证明,该去噪方法能够有效去除网页噪音。