基于Spark平台的大规模GPS轨迹压缩方法性能评估

城市中大量的公交车、出租车和网约车每天服务着数以百万计的城市居民。这些车辆产生的海量GPS轨迹数据给交通大数据平台带来了沉重的存储成本压力,GPS轨迹数据的压缩处理迫在眉睫。文章借助大数据计算引擎Spark,以并行化的方式实现了一组经典轨迹压缩算法,这些算法包括Douglas-Pecuker,Top-Down Time-Ratio,Sliding Window和SQUISH,并在一个超大规模真实数据集上验证了该方法。实验结果表明该方法表现出很好的性能,31 000辆车累计1个月共117.5 GB的GPS轨迹数据,在一个14节点组成Spark集群上仅需要438 s即可完成压缩。