数据挖掘中的数据质量检验

数据质量检验是数据挖掘过程中的重要环节，是数据预处理工作的基础。长期以来，国内IT系统在运行过程中对于数据质量缺乏关注，数据质量低。很多项目由于开始未经过周密的数据质量检验，导致通过数据挖掘建立的模型有偏差，甚至结果完全错误。数据质量问题已严重影响到数据挖掘技术的应用，成为数据挖掘项目成败的关键因素。     

数据质量管理中的八个要点

在很多金融企业中,不同程度地实施过数据质量管理项目。有些企业单独实施数据质量分析、度量和修正项目;有些企业则在数据集成项目的实施过程中,实现数据质量管理的过程。还有一些企业,组织专业的数据质量保证队伍,负责对企业运营系统中的数据质量进行监督、维护和管理。上述措施往往成果并不显著,很多金融企业业务人员依然对业务系统中的数据质量嗤之以鼻,不大相信业     

信用评分模型开发中的抽样技术

信用评分是运用数据挖掘技术对已知客户的信息进行分析，建立能预测未来客户信用表现的模型。数据准备是评分模型开发过程中非常重要的步骤，数据质量的好坏直接决定了模型的成败。由于银行内部的数据量非常庞大，为了使分析更加有效率，需要对数据进行抽样。因此，如何进行抽样，如何保证样本能够充分代表总体就非常重要。根据信用评分模型的开发经验以及数据挖掘中的抽样理论，现提出如下建立评分模型时应用的抽样技术以及注意事项。     

构建数据质量治理体系的思考

正树立数据竞争优势,一方面要依赖于海量的数据规模和数据挖掘能力,另一方面更要保证数据的可信性,数据质量管控成为银行管理的重点工作之一。对如何提升数据质量,本文进行了有益思考。影响银行数据质量的主要因素主要有:缺乏科学、规范、成体系的数据质量标准,数据采集手段相对单一不能全面采集客户数据,数据信息共享程度差,缺乏系统的数据质量管理机制,人员操作水平制约数据质量的提升,信息应用水平不高等。对如何提升数据质量管理,有以下几点思考。     

保险企业数据质量管理技术及其应用简

数据质量管理是指对数据在获取、存储、数据质量评估、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题进行识别、度量、监控等一系列的管控活动。数据质量管理技术是循环管理的过程，其目标是通过可靠的数据提升数据在经营管理中的价值，并最终为企业赢得经济效益。数据质量管理，不仅仅对问题数据和垃圾数据进行探查、清理、补充和完善，更是对数据质量和组织管理技术的改善。在保险业，针对数据的改善和管理，主要包括数据探查、数据评估、数据清洗、数据监控、数据稽核、错误预警等内容。     

数据仓库建设中数据质量问题的研究

本文对数据仓库中数据质量方面的问题进行了研究.首先介绍了数据质量对于数据仓库的重要性和数据质量标准,接着陈述了导致数据仓库数据质量低下的原因,并进行了分析,然后提出了保证数据质量的应对策略,最后强调了企业数据质量问题的解决是一个长期的过程.     

ETL开发实施中质量保证的关键步骤

数据仓库项目实施成败的关键因素之一就是数据抽取过程中数据的质量问题。在数据仓库建设过程中，我们不得不在原有的数据中“艰难跋涉”，这些数据来自原有数据库、原有磁带机以及远程的数据源，它们中的大部分都凌乱不堪，并且难以获取。我们要对这些数据进行大量处理，并且还要通过ETL（Extract，Transform Band Load）程序来寻找其中的有用信息。这就要求开发人员必须花费足够的时间来充分研究这些数据，将凌乱的数据规则化，并尽力设计和实现强壮的数据采集和转换过程。如果没有对源数据进行整理和数据标准化等基础工作，很可能造成数据仓库项目的基础不牢。     

Insightful Miner（简称S＋Miner）——数据清洗、统计分析和数据挖掘集成平台

S＋Miner是世界排名前三位的著名统计分析与数据挖掘软件厂商InsightfuI公司数据挖掘产品。它是集数据获取、探索性分析、数据操纵、数据清洗、统计分析（集成了著名的S—PLUS统计分析平台的所有分析函数）、机器学习、模型评估和预测发布等功能于一身的新一代数据挖掘工具。     

央行内部(企业)评级工作存在的问题与建议——以山西省大同市为例

近年来,中国人民银行积极推进央行内部(企业)评级和信贷资产质押再贷款工作,引导地方法人金融机构参与央行内部(企业)评级,加大对民营企业和小微企业信贷投放力度,助力地方经济转型发展.但在基层人民银行推进央行内部(企业)评级工作的实践中,存在评级数据质量不高、金融机构参与积极性不高、抵质押品数量不足、评级质量检验机制有待完...     

数据挖掘的实施流程

数据挖掘在商业银行的应用实际．上早已存在,商业银行在经营管理的过程中所使用到的资产负债表、现金流量表、利率风险分析报表等都体现了数据挖掘的思想,其实质就是从大量的账务数据中获取整体营运情况的信息及其趋势用于决策。有效地利用海量数据进行数据挖掘,形成科学的、完备的数据挖掘体系,既是商业银行自身发展的必然要求,也是发展过程中所遇到的机遇和挑战。     

大数据时代银行数据服务体系建设的探讨

2012年以来,"大数据"一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,以及与之相关的技术发展和数据应用。随着人们生活信息化程度的提高,特别是伴随物联网、移动互联网、社交网络的快速发展,如何从各种类型的海量数据中快速获得有价值的信息成为数据挖掘和分析的新热点,这也是大数据应用的基本目标。     

IT开发：项目与质量管理体系先行

中国银行业IT建设正步入成熟期，从数据大集中阶段向应用集成和金融创新阶段渐进过渡。在这种背景下，银行的信息科技项目与质量管理显得尤为重要。在信息系统开发过程中，只有确保项目与质量管理体系在各个项目中得到较好的应用，组织内项目管理的方法和手段才能趋于一致，项目开发过程才能做到运作规范、过程明晰，     

数据挖掘分类技术在信用卡系统中的应用

本介绍了在已有的信用卡数据上进行数据挖掘分类技术的应用实施，描述了数据挖掘分类技术应用实施的全部过程以及在实施过程中的技术要点，分析了目前数据挖掘技术应用的瓶颈，重点强调了数据准备阶段在数据挖掘技术项目应用中的重要性以及方法与步骤，实现了算法的应用以及结果的可视化。     

大数据背景下的公共投资审计新路径探讨

本文从大数据时代的审计环境变化出发,探讨了基于大数据的公共投资审计方法和策略,介绍了数据挖掘、风险评估、可视化技术、机器学习、人工智能、云计算和区块链技术在审计中的应用。同时,本文还对公共投资审计的实践路径进行了探讨,包括审计计划的制定和实施、审计数据的采集和整理、审计过程的监控和分析、审计报告的撰写和反馈。最后,本文提出了公共投资审计质量评价体系,包括质量评价指标、质量评价方法和实施与反馈。     

从业务需求视角谈央行数据综合利用

谈及数据综合利用,人们首先想到的就是数据仓库和数据挖掘技术,有人认为只要建立数据仓库,利用数据挖掘工具,就可以开展数据综合利用。笔者认为,数据仓库和数据挖掘技术只是开展数据综合利用的工具,能否发挥作用,发挥多大的作用,关键在于人们如何使用工具,而不是工具本身。数据仓库和数据挖掘技     

数据挖掘中不可忽视的环节--数据预处理

在数据挖掘中,数据预处理占有重要地位。本文在介绍数据预处理概念的基础上, 分析了数据预处理的主要内容和方法。     

数据挖掘技术在商业银行中的应用研究

随着商业银行信息化进程中数据集中阶段任务的完成，各商业银行将面临如何从大量的数据中提取有价值的信息和知识“提高企业决策质量和市场竞争力，数据挖掘技术的出现使企业“数据变知识“成为可能。本主要结合商业银行的实际，探讨了数据挖掘技术在其客户关系管理、信用管理、风险管理等方面的应用。     

新时代大数据审计实践研究——以医疗保障基金审计为例

信息技术的快速发展使得国家审计的数据基础和审计方法随之改变。近年来,我国医疗保障改革发展的成就令人瞩目,覆盖城乡居民的医疗保障体系框架基本形成,管理服务体系已完全信息化、数字化。新时代医疗保障审计必须顺应新时代变化步入大数据审计实践。本文基于医疗保障领域审计实践,分析当前医疗保障基金审计面临的大数据环境现状,探究审计分析方式变革、审计方法创新,总结审计专家经验模型,探索关系网络分析方法、数据挖掘方法的审计应用,并从统筹项目组织与实施、加强质量控制、新技术探索、完善大数据审计平台等四个方面提出了进一步深化发展大数据审计的思考建议。     

银行数据管理实践之核心对象

中国光大银行早在2008年就启动了全行数据标准化工作,并于2012年开展数据体系规划及实施路线图的制订,依照"以数据质量为核心、数据标准为基础、数据治理机制为支撑"的原则在全行范围内开展了数据管理实践。在研究与实践过程中发现:数据管理的每个领域,如数据标准、元数据、主数据、数据质量等,都是一个极为复杂而庞大的体系。数据管理各领域互为依赖,各种管理流程紧密地交织在一     

基于XML的Web数据挖掘系统的研究与设计

本文主要研究了XML(EXtensible Markup Language)和数据挖掘两项技术的结合点,提出了基于XML的数据挖掘系统模型。在该模型中对数据挖掘的各个环节提出了采用XML技术的解决途径;研究了XML用于异构数据集成、数据预处理和XML数据集上的数据挖掘等问题;提出一个面向电子商务站点的Web挖掘原型系统。