基于Hadoop的微博热点话题挖掘系统研究与设计

本文首先介绍了Web数据挖掘理论、Hadoop技术理论及国内外微博热点话题挖掘领域研究现状。在此基础上对传统微博热点话题挖掘方法进行综合及改进,旨在研究与设计基于Hadoop的微博热点话题挖掘系统。     

电子商务环境下基于Web GIS的粮食物流配送优化集成系统分析与设计

在电子商务环境下粮食物流配送是实现整个粮食交易过程的最终保证,本文以粮食的物流配送问题为依据,结合Web GIS理论和方法,对粮食物流配送优化系统进行了系统分析。建立了基于Web GIS的粮食物流配送系统模型,为Web GIS应用于粮食物流配送优化集成系统（GLD_OIS）提供了较实用的指导性方案。     

基于WEB GIS的移动通信资源管理系统的研究与实现

本文首先简要介绍了Web GIS的特点并对当前国内外的Web GIS产品进行了对比分析,提出了Web GIS的三层体系结构。在该体系结构的基础上结合MapXtreme开发了移动通信行业的Web GIS应用系统。     

Haboop在企业中的应用现状分析

在大数据背景下,企业传统的数据处理方式正在面临巨大挑战。Hadoop是一种大数据处理技术。本文介绍了Hadoop的主要架构以及在企业中的应用现状。在此基础上,详细分析了Hadoop的应用优势。另外,文中也提出了Hadoop的应用局限性,如在企业应用所面临的人才、技术、资金挑战等。最后,从Hadoop的发展方向,人才准备,合作研究等方面提出来相应的解决方案。     

Hadoop平台技术极其在油田企业的应用研究

文章着重介绍了Hadoop平台的基本特点与处理大数据的方法与优势,并结合油田企业数据的特点分析了Hadoop平台在油田企业中应用的意义与价值。     

面向电子政务复杂应用的安全审计平台研究

在大数据、大系统、大用户、多应用协同的电子政务复杂应用环境下,一应用一审计模式的信息系统安全审计因其低效率、低协同、高冗余等问题已经无法满足当前时代下的电子政务复杂应用需要。本文针对此问题提出了基于审计需求的集约的、柔性的、面向电子政务的安全审计平台模型,同时,基于Hadoop技术构建了电子政务安全审计平台,并经过实际案例验证该平台可行。     

基于云计算的海量数据处理平台设计与实现

针对传统并行处理技术在海量数据处理中存在的实际应用问题，利用云计算技术强大 的计算能力、高效的海量数据处理方式，结合关系数据库实时访问的优点，在Hadoop分布式 计算框架基础上，采用Map Reduce架构，设计并实现了基于云计算的海量数据处理平台。 实践证明，该系统在计算能力、稳定性、可扩展性等方面都优于传统并行处理的技术，能有 效解决海量数据大并发访问。     

Hadoop在多数据中心分布式计算环境中的应用研究

针对Hadoop和MapReduce在空间大数据处理上存在的局限性,研究Hadoop平台在分布式计算环境中跨多数据中心的应用。提出了层次化Hadoop分布式计算框架,通过虚拟HDFS文件视图实现全局数据访问,由任务调度器自动将任务分解到对应的数据中心所在计算节点上,给出了任务处理和调度流程。     

Hadoop分布式集群容错验证

云计算的诞生,使运行在大量廉价硬件设备集群上的Hadoop系统备受关注。本文在Linux系统上搭建了Hadoop的集群环境,通过实验利用分布式系统的冗余存储机制对其高容错性进行了验证,保证了数据的高可靠性。     

基于web日志数据挖掘的电子商务推荐系统

Web数据挖掘是从Web文档和Web活动中发现并抽取感兴趣的、潜在的有用模式和隐藏的信息。基于Web数据挖掘的电子商务推荐系统可以满足电子商务未来发展趋势的需要。在本文中依据效率和准确性,建立了一个推荐系统模型,并对系统中各个模块功能及它们之间相互协调工作做了详细的描述;深入研究了电子商务推荐系统所使用的推荐算法,重点讨论了目前使用最为广泛的协同过滤推荐算法;在上述研究的基础上设计了基于聚类的协同过滤推荐系统,并对k-means聚类算法进行了改进;给出了系统试验结果,并对结果做出解释和评价。     

Web2.0环境中基于社会标注的个性化推荐系统模型研究

随着Web2.0应用的不断深入,浏览Web资源以及对其资源进行个性化标注的需求越来越多。但是,现有的Web2.0浏览工具或系统在个性化、智能化和易用性方面尚有很大的改进空间。本文针对社会标注在Web2.0中的大量涌现以及个性化需求的迫切性,结合社会标注和本体在概念语义描述和资源揭示上的互补优势,将其引入到个性化推荐领域,设计一种基于社会标注的个性化推荐系统模型,力图解决Web2.0环境中爆炸式增长的数据与用户个性化需求之间的矛盾,同时达到提高数据搜索效率、推荐合适信息给合适用户的目的。     

大数据时代 经济普查数据有何作用

<正>大数据时代经济普查的方法与技术从文件的数据采集系统、数据库和表的数据采集技术来看,日志收集系统从数据源收集数据,并将数据发送到接收方。为了保证数据传输的可靠性,这些系统通常会在数据发送给接收方之前进行缓存。数据采集的代表性工具有GoldenGate公司的TMD、迪思杰公司的数据采集软件、IBM公司的CDC、MySQL支持的Binlog采集工具等,这些工具主要应用于批量抽取。Sqoop是其中的另一种重要工具,它可以方便地在Hadoop和关系数据库之间传递数据。     

云技术支持下地理信息系统的发展（--）

网络的发展为GIS提供了机遇和挑战，它改变了GIS数据信息的获取、传输、发布、共享、应用及可视化等过程和方式，为G1S数据在WWW上提供了方便的信息发布与共享方式。随着Internet技术的不断发展和人们对地理信息系统（GIS）的需求，Web—GIS已经成为GIS发展的必然趋势。云计就是一个透过网络将庞大的待处理的程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统，经搜索、计算分析后将处理结果回传给用户的技术。随着云技术的出现，以及Internet在GIS领域的不断发展与应用，建立在云框架下的地理信息系统软件平台进入了我们的视野。云技术的出现为人类收集全球地理信息提供了强有力的支持，云在全球地球观测系统中的应用将促进该系统在全球范围内的发展，云技术与自发式地理信息系统的结合更是为地理信息的收集提供了一种崭新的途径。     

采用云计算技术的网络流量检测

为了实现对现网大数据网络流量的实时、有效检测,提出了一种基于云计算的网络流量检测方案。该方案充分利用Hadoop平台Map/Reduce编程模型在海量数据处理方面的优势,采用分层化的设计思想,克服了传统检测方案在海量数据应用环境中效率低下、可扩展性与安全性不足的缺点。重庆移动DPI平台应用表明,该方案较为有效,流量检测效果良好,在大数据处理时效率较普通分布式处理有明显提高。     

基于Web GIS的物流电子商务配送网络优化研究

电子商务物流蓬勃发展,而物流配送是其中的关键,配送成本的控制有赖于配送网络优化。Web GIS的核心问题就是实现地理信息共享,以解决配送规划问题。本文基于Web GIS构建了一个物流配送网络优化模型,通过选择配送中心、运用地址匹配搜寻目标、规划详细路线获得配送路径,并通过实例对模型进行了验证。     

基于ArcServer的开发与应用

ArcServer是ESRI在ArcGIS 9.0系列产品中新推出的一个创建企业级Web GIS应用的平台.介绍了ArcServer的基本知识及体系结构,阐述了ArcServer的运行机制,着重分析了分布式环境下服务器端的配置和管理方法,并结合具体的而开发实例—系统的构建及主要功能的实现,阐明了在.NET平台下如何开发一个ArcServer系统.并且介绍了基于ArcServer的具体的Web GIS应用.     

基于 Hadoop 的校车调度研究

论文提出基于 Hadoop 云设计适用于交通海量数据场景的大数据平台,设计基于 HDFS 和 HBase 分布式存储交通大数据,设计基于结构化数据和数据库接口 API 的数据接入标准,设计基于 NHbase 的预处理数据采集模块,设计基于 MapReduce 和 Hive的分布式计算模型分析交通数据。论文最后应用本校校车数据对本平台的可靠性和有效性进行实验与分析,验证本平台不仅能够很好的处理本校校车调度问题,并且能够通过扩展适应更高更大的交通数据要求。     

基于Web GIS的旅游地旅游信息系统设计

本文分析了Web GIS的理论基础及实现方法。结合旅游地需要,基于面向对象的分析设计思想,通过UML进行了系统需求分析,设计了该系统的总体设计框架和具体功能模块,选用SuperMap IS.NET进行了系统的实现。从GIS系统的角度,设计旅游信息系统,为旅游地旅游信息系统的建立提供了优化选择。     

论大数据和数据集成

<正>大数据是大事务数据(即关系数据库)、大交互数据(即社交数据、网站日志、传感设备、电子邮件),以及大数据处理(即Hadoop)的大综合。大数据处理主要源自于社会化媒体、移动应用以及云计算。通过以更快的速度对更多的数据值,更多类型的数据进行分析,大数据可以驱动快速创新。实践表明,大数据项目中80%的工作都和数据集成有关。我所说的数据集成是指访问、解析、规范化、标准化、集成、清洗、抽取、匹     

编辑距离的Web数据挖掘问题研究

Web数据挖掘技术简称为Web挖掘,该项技术从数据挖掘技术中发展而来,属于Web信息系统中崭新的一个领域.该技术主要帮助人们在大量信息中进行智能化、自动化选择,找出信息中具有一定使用价值的知识点,并从知识点中揭示含有这些数据的背后客观世界中的内在联系和规律,可以应用于宏观辅助决策,解决社会发展中实质性问题.本文主要从编辑距离的角度对Web数据挖掘技术进行分析.