数据清洗方法在寿险事务处理系统中的应用研究

早期大型的在线事务处理系统（OLTP）问世后不久，就出现了一种用于“抽取”处理的简单程序，其作用是搜索整个文件和数据库，采用某些标准选择合乎要求的数据，将其复制拷贝出来，用于总体分析，这就是数据预处理的前身。数据预处理应包括数据抽取、数据清洗转换、数据加载的整个过程。本文主要研究数据清洗方法在寿险事务处理系统中的应用。     

数据转换方法在寿险数据预处理中的应用

早期大型在线事务处理系统（OLTP）问世后不久，就出现了一种用于抽取处理的简单程序，其作用是搜索整个文件和数据库，使用某些标准选择合乎要求的数据，将其复制拷贝出来，用于总体分析，这就是数据预处理的前身。数据预处理包括数据抽取、数据清洗转换、数据加载三个过程。本文主要研究数据转换方法在寿险事务处理系统中的应用。     

数据挖掘中的数据质量检验

数据质量检验是数据挖掘过程中的重要环节,是数据预处理工作的基础。长期以来,国内IT系统在运行过程中对于数据质量缺乏关注,数据质量低。很多项目由于开始未经过周密的数据质量检验,导致通过数据挖掘建立的模型有偏差,甚至结果完全错误。数据质量问题已严重影响到数据挖掘技术的应用,成为数据挖掘项目成败的关键因素。     

数据挖掘中的数据质量检验

数据质量检验是数据挖掘过程中的重要环节，是数据预处理工作的基础。长期以来，国内IT系统在运行过程中对于数据质量缺乏关注，数据质量低。很多项目由于开始未经过周密的数据质量检验，导致通过数据挖掘建立的模型有偏差，甚至结果完全错误。数据质量问题已严重影响到数据挖掘技术的应用，成为数据挖掘项目成败的关键因素。     

基于RDFS网络文本数据表示的金融风险研究

金融是现代经济的核心,如何防范和化解金融风险成为重要课题。文章针对互联网海量文本数据,基于RDFS方法进行金融风险识别的研究,并构建了基于RDFS的互联网金融文本数据风险识别模型。第一步是对互联网数据源的金融文本数据进行数据预处理;第二步是对文本数据进行信息抽取,并将抽取的信息进行有效的RDFS数据表示;第三步是基于RDFS数据表示对文本数据进行有效的分析预警。     

基于XML的Web数据挖掘系统的研究与设计

本文主要研究了XML(EXtensible Markup Language)和数据挖掘两项技术的结合点,提出了基于XML的数据挖掘系统模型。在该模型中对数据挖掘的各个环节提出了采用XML技术的解决途径;研究了XML用于异构数据集成、数据预处理和XML数据集上的数据挖掘等问题;提出一个面向电子商务站点的Web挖掘原型系统。     

Web日志挖掘研究

首先介绍了Web日志挖掘产生的背景,然后介绍了Web数据挖掘的概念,再从Web数据挖掘的内容角度引出Web日志挖掘,并略为详尽地阐述了Web日志挖掘的数据预处理技术及Web日志挖掘的算法。     

大型金融机构室内定位系统高效中间件的设计

金融机构内的重要区域对安全性及金融人员监管有较高的要求。由于室内环境复杂和所处理数据庞大等因素,室内定位系统在定位过程中会出现数据丢失和处理结果滞后的情况,导致安全性下降。本文设计的中间件通过初始化阶段预处理数据,在结合并行模式的线程池管理基础上,通过添加环形队列缓存池,达到了提高系统运行效率、减少数据丢包率和增强系统抗压能力的目的。中间件架构的可行性通过了实验验证。     

互联网金融的大数据分析处理研究

大数据采集与存储是大数据研究领域的关键技术,也是大数据分析挖掘的基础。随着移动互联网、新型智能终端、新媒体、物联网等技术和应用的快速发展,传统的数据采集与存储已经不能满足海量、异构、实施数据分析的需求,新的产品和技术方案应运而生,并在实践中不断地完善和发展。本文将围绕大数据采集、预处理、存储与管理等方面展开讨论,重点探讨数据采集的策略、原则和技术。其次,结合数据预处理的研究,探讨数据清理、集成、变换和规约的过程;最后,分析数据的存储和管理技术、产品和解决方案,为互联网金融领域的大数据分析奠定基础。     

个人信用评分关键技术研究的新进展

从系统论的角度总结了个人信用评分发展的前沿问题,从数据预处理、指标体系筛选、以及模型设计三个方面对个人信用评分关键技术的最新研究成果进行了细致分类和综合比较,从而指出个人信用评分研究中存在的难点以及未来发展方向。     

浅谈数据预处理理论

没有高质量的数据就没有高质量的挖掘,在数据挖掘过程中数据预处理至关重要.初步采集来的数据大体上都存在不完整,不一致等问题,无法直接进行数据挖掘,或挖掘结果差强人意.因此,数据预处理技术至关重要.根据统计,在一个完整的数据挖掘过程中,数据预处理要花费60%左右的时间,而后的挖掘工作仅占总工作量的10%左右.     

数据生产理论——数据资源权利配置的基础理论

人类正在进入数据驱动的时代,数据成为社会的基础资源,但数据一直被认为处于公共领域并妨碍着数据权利化,困扰着数据资源利用秩序的建立。描述特定对象的数据并不是天然存在的,而是被生产出来的,并将数据价值（预测分析、发现新知）的实现过程界分为原始数据生产（采集）、数据集生产（汇集性处理）和数据分析（分析性处理）三种行为,并将前两个行为称为数据生产,提出数据生产理论。数据生产理论首先应区分数据生产和数据分析,原始数据的生产是建立在分析原材料提供者基础之上,应承认其价值并配置适当权利,以满足各种分析目的的数据集的生产。同时,数据生产还应区别数据来源,来源于个人的数据并不一定是个人生产的,只有个人在提供或创制了数据时才是数据的生产者。因此,数据生产理论是在将数据视为一种资源的情形下为数据上权利配置提供理论支撑,通过配置相应权利,构筑从原始数据生产者到数据集生产者,再到数据分析者的数据利用秩序。     

论数据要素的分层课税机制北大核心

数字经济时代,数据成为新型关键生产要素,但与之对应的税种尚不存在。数据产权制度的缺失是阻碍数据要素课税的重要因素,只有在厘清数据产权主体的基础上,才能合理界定数据要素的纳税主体。在数据要素价值创造过程中,数据要素形态不断变化,从最初海量、零散的原始数据,经收集、清洗、入库形成结构化、规模化的数据集合,再经深度加工而衍生出数据产品。每当数据要素发生形态转换时,其产权主体和经济价值均会发生变化。因此,在构建数据要素税收体系时,应当结合数据要素在不同环节的产权状况界定纳税主体,建立以数据产权转移为基础的分层课税机制,对数据要素在不同环节产生的增值额征收增值税和相应的所得税。     

大数据与大数据经济学

在社会经济快速发展过程中,数据应用范围不断扩大,在各个领域中产生的数据量也逐渐增多,人们已经走入了大数据时代。大数据时代的到来,必将对传统经济造成影响,大数据经济学应运而生。本文首先对大数据背景下传统经济学受到的冲击进行分析,然后对大数据经济学进行具体的介绍,希望能够给相关人员提供启发。     

大数据环境下审计数据统计分析研究

随着大数据时代的到来以及在审计领域的应用,基于大数据技术推进审计分析和方法的创新已成为当下重要研究课题。通过运用大数据技术可以实现信息技术与审计思路的完美结合,借助大数据思维来开展审计统计分析工作,确保审计数据的真实性、可靠性,实现我国审计与国际审计惯例的接轨。本文通过阐释大数据的基本内涵,分析大数据技术在审计数据统计分析工作的应用价值,提出树立大数据环境下新型审计观念、构建审计数据统计分析系统、注重数据挖掘技术的运用以及注重云计算平台的运用等建议,以期可以促进大数据环境下审计数据统计分析工作水平和质量的有效提升。     

数据资产价值评价方法研究

数据资产作为一种无形资产,是企业重要的战略资源,为了促进公司数据资产应用及帮助解决数据运营类企业估值难的问题,本文在对数据资产影响因素分析的基础上,引入了收益现值法、市场价值、法重置成本法对数据资产定价方法进行了研究。同时在传统资产价值评估方法的基础上,提出了运用博弈方法、人工智能方法进行数据资产评估的观点。     

衍生数据信托的适格性与本土化建构

衍生数据是数据平台对原始数据进行脱敏化处理和技术分析,形成的匿名化（非可识别化）、可读取、有使用价值的数据。数据平台兼具数据“守门员”和“运动员”的双重身份必然带来利益冲突。衍生数据不具有原始数据的高敏感性,且具有财产性和独立性属性,能够作为信托财产的标的。数据信托模式对衍生数据进行受托管理,能够使数据平台“守门员”与“运动员”的双重身份予以分离,维护数据主体权益,降低数据市场垄断风险,有效提高数据市场流通效率。在具体制度设计上,需明确数据平台的委托人和受益人身份,完善数据信托的监管规则、市场准入制度、合规管理等制度设计,促进数据市场的稳定有序发展。     

金融大数据研究与应用进展综述

身处大数据时代,人们生活的方方面面都离不开数据。同样,金融行业也存在着海量的数据,将大数据技术与金融行业结合,有助于推动金融行业的发展。本文介绍金融大数据的分类和面临的挑战,并总结和整理了目前处理金融大数据的主要算法,具体包括基于语义的金融大数据处理算法和基于时间序列的金融大数据处理算法。介绍了金融大数据在不同分类下的应用,并展望了金融大数据的发展前景。     

经济平台化模式下数据的资本化与资本积累新特点北大核心

伴随经济的平台化发展,数据作为记录人们平台活动信息的载体,已成为数字经济时代的关键生产要素。数据所具有的自然属性与社会属性使其资本化成为可能。数据的资本占有与数据的商品化过程依然符合马克思主义政治经济学的价值运动规律。依据用户平台活动是否具有劳动本性,由用户平台活动痕迹信息数字化而来的原始数据具有不同的价值构成,进而由原始数据得到的衍生数据价值构成也有所区别。在数据商品化进而资本化的过程中,数据资本积累呈现出新的特点,即数据的攫取与控制成为数据资本积累的前提、数字平台成为数据资本积累的关键中介、数据资本无序扩张成为数据资本积累的加速器以及数据垄断资本成为数据资本积累的历史趋势。     

警惕数据寡头终极垄断

在数字经济时代,当技术垄断和大数据资源混合在一起,便形成了数据寡头与数据垄断。数据因其规模性、多样性,很容易被数据寡头绝对封闭地垄断特定行业。其垄断的形式多样,并不仅仅是垄断技术、垄断市场、垄断消费者和垄断产品,更重要的是,会形成“闭环”的数据垄断,这足以保障垄断者在垄断中自我膨胀。这一问题在数字时代变得突出,受其拒斥的不仅是消费者和竞争者,甚至可能包括中央银行等政府机构。如何定义和配置数字资源是值得我们深入思考的课题。