近年来,随着城镇化的不断推进、城市规模的不断增大,使得城市中人口数量显著增加,对城市公共交通系统的要求也越来越高[1]。作为一种新型的交通工具,城市轨道交通具有运量大、快速、安全的优点,使其成为有效缓解城市交通压力的一种手段[2]。《中国制造2025重点领域技术路线图》明确指出,轨道交通作为我国公共交通和大宗运输的主要载体,是我国高端装备“走出去”的重要代表。国家发改委指出,城市轨道交通示范应用是《增强制造业核心竞争力三年行动计划(2015—2017年)》实施中的显著成效,并将城市轨道交通设备列为《增强制造业核心竞争力三年行动计划(2018—2020年)》九大重点支持领域之一。城市轨道交通作为一类重要的城市交通工具,从另一方面也体现了一个城市的发达与发展程度[3]。轨道交通数据指在城市轨道交通系统日常运营和运维过程中,以自动、主动或被动形式产生的包含结构化数据、半结构化数据和非结构化数据在内的数据[4]。其来源广泛、种类众多、产生速度快,因此,是一种典型的大数据。如何管理、处理、分析、挖掘轨道交通大数据背后隐藏的知识,并将其服务于轨道交通工程的规划、勘查设计、工程施工、运营维护、决策支持等各个阶段,是一件极其重要的事情[5]。
1轨道交通大数据
轨道交通大数据按照运营关联情况可以分为内部数据和外部数据[6]。其中,内部数据包含基础地理数据、公共行业数据、属性数据、标准、规章、计划及指标数据在内的静态数据和包含专业数据(车务、车辆、工务、电务、机电、通号等)、客流数据、环境数据、安全数据、财务数据、资源配置信息、客运服务信息在内的动态数据组成。外部数据由气象数据、大型活动数据、公共交通数据、社会媒体数据构成。轨道交通大数据具有多源、异构、动态、时空的特点。按照流转途径,轨道交通大数据的生命周期可以分为六个阶段。不同来源的轨道交通数据以自动、主动或被动的形式产生,通过传感器等设备进行采集和存储,地理上分散的轨道交通数据通过网络进行汇聚,经过数据集成、数据清洗等处理手段后存储在统一的数据中心,按照上层的业务需求对存储的数据进行处理和分析,最后将结果进行可视化,以服务不同的应用。
2轨道交通大数据挑战
2.1数据管理的挑战
轨道交通大数据来源广泛、种类繁多、产生速度快,具有多源、异构、自组织的特点。使得其在管理上面临着“汇聚难、集成难、存储难、检索难”的挑战。轨道交通数据在地理上分散,并通过不同的数据模型和元数据来进行自组织管理,如何连接不同类型的数据源,定时、自动化地汇聚多源的轨道交通大数据是一个挑战。轨道交通数据的体量大,对于已经汇聚、集成的数据,一方面,如何去设计适用于分布式环境下的数据存储模型,以满足高可扩展、高可用、高吞吐的需求;另一方面,如何结合轨道交通数据的时空特性,构建包含时空索引、全文检索在内的多类型索引模型,减少查询的搜索空间,加快查询的过程,是一个关键的挑战。
2.2数据处理的挑战
轨道交通数据的体量大,产生速度快,既包括了实时产生的动态数据,又包括了归档的静态数据,使传统的单机处理难以满足轨道交通应用实时处理的需求。Hadoop和Spark作为如今主流处理大规模数据的系统,可以作为解决轨道交通数据处理难的有效途径。轨道交通大数据存储在Hadoop生态系统和Spark生态系统的数据管理系统(如:HDFS、HBase、Hive等)中,通过MapReduce或者Spark进行分布式处理。在这个过程中,面临三个挑战:(1)数据管理系统数据读取接口的开发:由于轨道交通大数据涉及多个数据模型和存储系统,如何基于这些存储系统开发统一的数据读取中间件是一个挑战;(2)并行编程框架的开发:无论是MapReduce还是Spark,都要求算法开发者熟悉框架,限制了其使用范围,因此,需要在MapReduce和Spark提供的底层API上开发适用面广泛的编程框架;(3)工作流调度:数据处理通常由多个子过程构成,如何将这些子过程通过工作流机制进行组织、调度,以便实现处理过程的自动化是一个挑战。
2.3数据分析的挑战
数据分析的目的旨在挖掘、提取海量轨道交通数据背后隐藏的规律及知识。对于轨道交通大数据分析而言,其核心问题在于如何对轨道交通大数据进行有效的表达、解释和学习。
2.4安全性的挑战
具体而言,针对轨道交通大数据的安全性包含以下几方面:(1)用户隐私保护:如何保证在数据的传输、处理、应用过程中,用户的隐私数据不会被非法用户及非授权应用访问;(2)数据的可信度:由于轨道交通大数据来源广泛,数据质量参差不齐,如何为上层应用或用户提供可靠的数据;(3)大数据访问控制:如何通过用户鉴权和访问控制避免非法用户和非授权用户对轨道交通大数据的访问。
3轨道交通大数据典型应用
城市交通系统作为城市信息化程度较高的一部分,因其自身数据富集的优势,使得以数据为驱动的智能交通技术被广泛应用。而轨道交通大数据作为城市交通系统的重要组成部分,其在包括智慧城市、智能交通运输系统在内的诸多应用中被广泛应用。
3.1智慧城市
智慧城市作为全球范围内下一代城市发展的新理念和新实践,依托信息化建设基础,对城市部分数据进行实时、动态监测、分析、整合和利用,从而实现对城市的透彻感知。其构建的核心在于数据。目前,我国诸多发达城市都在构建智慧城市。轨道交通大数据作为交通大数据的一种,在构建智慧城市的过程中发挥着至关重要的作用。例如,深圳市通过汇聚全市的交通大数据,构建了“交通云”,实现了全面的17类数据的采集和共享,并通过大数据分析、挖掘手段,为全市的交通运输规划等业务提供了有效的决策支持。
3.2智能交通系统
城市轨道交通大数据可应用在智能交通系统构建上,具体包括统计分析、应急辅助决策、乘客出行诱导、客流量预测、调控管理方面。基于北京市轨道交通的现行方案,依托收集到的北京市轨道交通大数据,设计了基于大数据技术的城市轨道交通应急辅助决策流程。通过将上海市轨道交通大数据中的网络客流数据进行可视化,以挖掘网络客流时空变化特征和演变规律,从而在科学行车和客运组织方面向管理人员提供决策建议及依据。按照轨道交通大数据的生命周期,结合业务需求,利用大数据分析技术,设计了一套城市轨道交通自动化售票系统。青岛市通过构建“两地三中心”的大数据中心,实现了地铁大数据中心的建设,汇聚、管理全市的地铁大数据,以加强对地铁行业的管理和调控。
4结语
本文系统介绍轨道交通大数据的来源、分类、特点,并基于数据全生命周期,总结轨道交通大数据在管理、处理、分析三个方面面临的挑战,最后综述基于轨道交通大数据开展的一系列典型应用。
参考文献:
[1]涂小华,张正.大数据在城市轨道交通客流预测的应用[J].江西化工,2015(6):144-146.
[2]杨川.基于大数据的轨道交通网络化运营管理[J].中国新技术新产品,2017(16):120-121.
[3]孔磊.城市轨道交通公共安全大数据共享资源库研究[J].交通与港航,2015,2(5):37-41,68.
[4]顾伟华,黄天印,郭鹏.面向大数据的城市轨道交通非结构化数据管理[J].城市轨道交通研究,2016,19(11):77-80.
[5]孟存喜.大数据、云计算在轨道交通工程中的应用需求[J].土木建筑工程信息技术,2015,7(5):62-66.
[6]李得伟,张天宇,周玮腾,尹浩东.轨道交通大数据运用现状及发展趋势研究[J].都市快轨交通,2016,29(6):1-7.
作者:王文斌 单位:南宁轨道交通集团有限责任公司