基于Hadoop的铁路货运大数据平台设计与应用

随着铁路货运调度信息系统功能的不断完善,以及与日常生产、运输、营销的契合度越来越高,系统中列车、车辆、机务、货运、现车、乘务、施工等各业务模块的生产数据累积量逐日增加,传统的关系型数据库系统如Oracle和MySQL已经难以快速实现以月、年为单位的千万级或上亿级数据的快速查询、加工、分析与展示的需求。利用Hadoop生态中的分布式存储、计算、传输技术,搭建国家能源集团铁路货运大数据平台,实现了大数据平台与原信息系统生产数据库之间的数据传输、大数据存储、离线计算、实时计算、数据分析与挖掘、报表展示等功能。大数据平台不仅解决了传统数据库难以满足的对海量数据快速计算加工问题,也使数据的处理和分析更加方便,数据可视化界面的开发耗时更短,极大地丰富了货运上下游链路上各相关人员对数据的认知和洞察力。