大数据环境下银行数据分布与存储架构设想

近来,大数据这一IT行业的热门话题,在金融行业也引发了越来越多的关注。在数据爆发式增长的今天,银行每天都在生成、获取海量数据。首先,传统的交易系统每天产生数亿笔客户交易、形成了TB级的结构化数据;其次,业务处理过程中银行采集了大量用于集中作业、集中授权、集中监控的影像、视频等非结构化数据;再次,银行网站每天点击量达到几千万次,     

大数据时代的商业银行数据治理研究

随着金融创新的快速发展和信息科技的日新月异,商业银行积累的数据量呈现几何倍数的增长,数据来源也已从传统的结构化数据逐渐扩展到以网络日志、社交媒体为代表的半结构化和非结构化数据,商业银行逐步进入大数据时代。在大数据时代如何有效治理结构化、半结构化和非结构化的海量数据,     

非结构化数据在内部审计中的应用研究

非结构化数据具有格式多样、存储规模大、蕴含信息丰富等特征,结合大数据技术挖掘非结构化数据中的审计线索对促进现代内审工作发展具有重要作用。本文分析了内审工作中非结构化数据的特点及应用现状,提出了非结构化内审数据的处理思路及流程,并对推动非结构化数据在内审工作中的进一步应用提出了对策建议。     

浅析大数据时代企业内审的变革

权威市场调查机构IDC预测结果显示,未来每隔18个月,整个世界的数据总量就会翻倍;到2020年,整个世界的数据总量将会增长44倍,达到35.2ZB（1ZB=10亿TB）。这主要是由大数据的重要组成部分——商业数据、社交数据和传感器数据的迅猛增长趋势所决定的。大数据时代来临!一、理解大数据1.大数据的特征大数据具有4V特征：一是容量巨大（Volume）,数据已从TB级别达到PB级别;     

从大数据视角反思信贷管理

随着云计算、物联网、社交网络等科技手段的不断进步,人类步入了大数据时代。身处大数据浪潮之中的中国商业银行,积累了几十年存贷汇核心业务相关的结构化数据,还存在电话银行、网银、ATM记录的大量非结构化数据。在大数据模式下,商业银行可以将客户行为与特定的时间、地点、生活场景及客户的社会背景联系起来,形成     

金融创新 数据为源

近年来，我国金融业持续深化市场化改革，产品创新步伐不断加快。随着客户信息和市场信息获取渠道的日益多元化，如何通过对结构化数据、半结构化数据和非结构化数据的整合分析，洞察、把握及有效选择客户，成为金融业面临的共同课题。大数据技术的产生，适逢其时。     

HANA:大数据时代的弄潮儿

邹作基:SAP HANA这一突破性的创新技术能够帮助用户以快10万倍的速度高速访问和发布信息。同时,它还帮助用户以一种全新方式驾驭大数据,助力企业运营。企业互联网化,推动了大数据的爆发性增长。在逐步电商化的过程中,企业除了分析收集到的传统关系型结构化数据外,还会收集到大量类似网页、XML日志等半结构化、非结构化的日志。有调查报告指出,估计未来5年,企     

大数据助力商业银行信用风险管理创新

结构化和非结构化数据的快速增长对于商业银行利用好数据资源提出了新的更高要求,商业银行提升风险防控能力的需求使得风控成为大数据应用的重点领域和方向。本文基于全面风险管理视角提出了大数据助力商业银行信用风险管理优化的思路与框架,从信息获取、数据分析、决策管理三个环节分析了大数据助力信用风险管理的作用与举措,并结合实际提出了对策建议。     

应对大数据时代挑战

大数据浪潮汹涌来袭,手中掌握越多数据就越有利,已成为各行业“兵家必争之地”。在2012年瑞士达沃斯召开的世界经济论坛上,“大数据”成为讨论的主题之一,数据就像货币或黄金一样,已经成为一种新的经济资产类别。而如何有效整合来自银行网点、PC、移动终端设备、传感器网络传来的结构化、非结构化的海量数据,使大数据更有意义,帮助组织机构做出更好的商业决策才是关键问题,对于银行来说如何去伪存真、变“数”为宝,这对银行的数据驾驭能力提出了新的挑战,也使得银行有了更大的想象和发展空间,这意味着无穷的业务创新、新的竞争力源泉和业务利润有待发掘,传统的商业银行运营模式面临变革。
　　本期“特别关注”特邀金融界专家和银行从业人员各抒己见,分析大数据时代来临后,银行的内部和外部不同视角提出的想法和建议,以飨读者。     

银行历史数据集中系统实现方法

正目前银行历史数据系统主要采用关系型数据库进行数据存储,如Oracle RAC方式,但此方式具有诸多限定,例如数据量积压到一定值后,将极大影响联机查询效率;只适合存储结构化数据,难以满足对半结构化和非结构化历史数据的处理;成本较高,一套系统性能完善的历史系统其仅硬件成本将超过千万。基于银行历史数据系统具有的"大数据"特征,我们探索采用当前广泛应用的大数据技术解决方案,基于Hadoop/HBase的技术架构,给出技术结果、分析关键技术、技术特性。     

综合业务异地灾备系统三层异构云服务平台

正中小金融机构综合业务异地灾备系统三层异构云服务平台(以下简称"异地灾备云服务平台")通过数据库CDC(变化数据捕捉)技术支持多异构、多层次的数据复制,提供可以信赖的、准确的、全面的信息,支持多种数据类型,包括各类结构化、非结构化和半结构化数据,同时支持多种平台包括开放型平台、AS/400和大机环境(Mainframe)。可以为多家金融机构提供业务系统应用级或数据级灾备系统托管服务。     

多模态数据在金融风控领域的应用

随着金融科技的不断进步,人工智能算法在金融风控领域的应用也逐渐深化。信用评分模型作为一种应用最广泛的风险评估模型,主要使用个人信息、征信等结构化数据进行模型构建,对图像、文本、语音等非结构化数据的利用存在局限性。为了有效利用各种形态的数据,文章研究提出一种利用多模态数据的框架,融合结构化数据和非结构化数据中的有效信息,进而提升模型的风险识别能力。该算法可应用于其他涉及非结构化数据的领域中,算法组件可以根据实际业务数据进行任意替换。实验证明,与只使用结构化数据的基线模型对比,非结构化数据特征能够有效提升模型的风险识别能力,其中AUC提升4%,KS提升6%,模型稳定性指标PSI稳定在0.01。     

企业信贷大数据云服务平台助力风险控制

随着互联网及非结构化大数据分析挖掘技术的成熟,第三方数据及互联网数据为银行业信贷风险管理提供了更多的风险数据来源。北京鼎富科技股份有限公司凭借自身领先的DINFO-SPIDER互联网信息采集系统和DINFO-OEC非结构化大数据分析挖掘平台,推出了企业信贷大数据云服务平台,服务于企业信贷审核和贷后风险监控等业务领域,对企业公开的、多种渠道的经营信息、企业主动态、行业动态、地区动态等进行监测     

招商银行

<正>招行净值型与结构化理财产品余额突破4000亿元据悉,招行自去年全面推动理财业务转型以来,该行资产管理能力不断提升。最新数据显示,招行净值型理财产品和结构化理财产品的管理余额已突破4000亿元,较去年末增幅约360%,成为该行今年以来理财产品规模增长的主力军。招行在国内银行业中较早意识到理财业务必须回归受托理财、主动管理、投资者自负盈亏的业务本质,因此从去年以来就坚决实施理财业务转型,走投资资产透明化、可量化、可估值的发展路径,以     

大数据:从概念化走向价值化简

大数据时代开始了！作为大数据概念的技术基础,流媒体、物联网、社交网络、内存计算、分布式计算、海量数据存储、结构化/非结构化数据挖掘分析、数据可视化等并非最近一两年才出现的新概念、新名词,但是将这些成熟的概念以全新的商业模式串接起来,并加以组合包装与运用,却打开了一幅将数据作为继黄金、石油、货币之后的全新的社会财富资源的诱人画卷。     

大数据在金融业的发展研究

据调查显示,目前中国很多金融机构的数据量已经达到100TB以上,非机构化数据量以更快的速率在增长,中国金融业的大数据时代已经悄然而至。大数据对于全球金融行业的进一步发展有着十分重要的意义,金融机构都已发现这一机遇并想要努力把握这次机遇。     

银行业加速数据管理转型

多年的信息化建设,给银行带来了爆炸式的数据量。面对海量的数据,如何应用并挖掘客户价值,传统的商业智能技术围绕数据采集、联机分析帮助银行实现了业务分析和决策,比如报表和报告。然而,大数据时代带来的文档、视频、音频等半结构化和非结构化数据,却使得传统的数据采集的做法束手无策。一方面,数据分析时滞太长、客户服务交互性不足,另一方面,缺乏直接面向客户创造价值的创新。面临大数据的挑战,现有系统日益显得捉襟见肘,迫切需要加速数据应用管理的转型。     

浅谈大数据信息安全

随着云计算、物联网等技术的高速发展,计算机网络已经悄然进入大数据时代,传统的网络信息安全体系很难满足大数据时代的需求。大数据的非结构化、来源多样化等都为大数据传输带来了安全隐患。针对大数据的各种潜在威胁,在传统网络安全技术的基础上,结合可信云技术提出的全新的大数据安全模型,可以从多角度、多层次对数据安全提供保护。     

投资者非理性行为是动量效应产生的原因吗?——来自互联网金融论坛的证据

动量效应是行为金融研究中重要的市场异象,然而目前各市场因素并不能完全解释其来源。在大数据背景下,本文通过挖掘金融论坛的结构化和非结构化数据,深入研究投资者微观行为与动量效应的关系,发现市值规模、账面市值比和行业等市场因素仅能解释约30%的动量效应,而基于行为金融的投资者非理性因素——投资者情绪、投资者关注度和情绪传播度,都是动量效应形成的重要因素,在市场因素的基础上还能继续解释35%左右的动量效应。研究结论对理解动量效应的形成机制和投资实践中网络信息的价值有重要意义。     

商业银行非结构化客户信息管理SWOT分析与战略选择

大数据时代,商业银行客户信息管理面临互联网金融的严峻挑战,而信息技术的发展为商业银行驾驭非结构化客户信息提供了有效手段。本文通过系统分析商业银行外部竞争环境和内部资源条件,提出商业银行非结构化客户信息管理的发展战略与应对措施。一、大数据浪潮下的商业银行客户信息管理随着以博客、社交网络、基于位置的服务（LBS）为代表的新型社交方式的不断涌现,以及云计算、