第二节 大数据对交通运输业及其从业人员的影响
我们正处在一个大数据、物联网、人工智能迅速发展的时代,虽然大数据科学与技术刚刚兴起,但它对包括交通运输业在内的传统产业的巨大影响已显现出来。
一方面,“互联网+”、大数据、物联网、人工智能、云计算、区块链等现代信息技术会极大地提升传统交通运输业的水平和效率,释放传统交通运输业的潜能和价值。另一方面,以大数据为中心的现代信息技术加上5G时代的来临,会对包括交通运输业在内的传统产业进行升级、改造、融合,以大数据科学与技术为基础的交通运输业会重新洗牌,会与智慧城市、智慧社区、智慧农村、智慧国家一起成为整个智慧社会的一部分,是智慧社会的重要基础。相应地,交通运输业的格局以及包括交通运输运营、监管、服务、规划、建设、养护等交通运输业的具体从业人员也会在大数据时代发生重大的甚至根本的改变。
一、交通运输业的数据特点及其大数据性质和要求
大数据应用最先是从谷歌、阿里巴巴等大型互联网企业开始的。今天,在人们的言谈中,每提大数据,必称电商大数据、政务大数据等。实际上,相比其他行业,交通运输才是大数据的主战场,交通运输业是产生大数据的天然场所。
交通运输是通过运输工具在运输线网上的移动以实现人和物的位移,创造最大的空间效用和时间效用,以获取最大的经济效益、社会效益以及国防、军事、政治效益的行业领域,涉及交通运输工具、线网、人员、物资、地理、地质、水文、空间、气候、环境等多点多面多线及其交互性等多方信息,具有点多、线长、面广、交互性强的特点。
为建设便捷、安全、高效、舒适、环保的交通运输体系,提供效率高、成本低、污染小、质量优、安全性好的运输服务,特别是为了解决当今严重的交通拥堵、环境污染、事故频发等严重的交通问题,满足快速、便捷、舒适、安全、绿色的出行要求,随着交通运输信息化建设的发展,今天的交通运输行业系统内已经积累了各式各样的数据集。比如,地理信息数据、路基路况数据、路桥隧道数据、设备基准数据、设备运维数据、车载设备数据、驾驶监控数据、遥感数据、GPS数据、场站码头数据、卡口数据、货物数据、出行数据、行人数据、气象数据、水文数据、ETC收费数据、车流量数据、事故数据、违章数据、处罚数据等。
这些数据包括公路、铁路、航空、水运等多行业的设施(如路网)、设备(如车辆)、人员、安全保障等基础数据,还包括综合交通网络中的人、车、路、环境等相互作用的关系数据,如速度、密度、流量、位置、票价等。
按照数据类型可分为结构化数据、非结构化数据(视频、图片、语音)和半结构化数据;按照数据形式可分为传感器流数据、数据文件、数据库记录、在线文字和图片、音视频等;按照数据的产生和变化可分为基础数据、实时数据、历史数据、统计数据、结果数据等。
典型的如城市交通数据。按照数据与城市交通关联性的强弱,城市交通数据可分为基础数据、运行数据、互动数据、关联行业数据、重大关联活动数据和调查数据6类。①基础数据:道路、桥梁、铁路、航线、机场、巷道、港口、码头等基础设施数据,城市区划、地面交通线网、轨道交通线网、人口、出行等数据;②运行数据:城市交通管理运行直接产生的数据,包括各类道路交通、交通卡口、公共交通、对外交通的线圈、轨道闸机、司乘人员、行人、出租车系统的GPS、视频、图片等数据;③互动数据:公众互动提供的交通状况数据,如通过微博、微信、论坛、广播电台等提供的文字、图片、音视频等数据;④关联行业数据:与城市交通相关行业和领域如气象、环境、公安、人口、环保、规划、统计、电信等导入的数据;⑤重大关联活动数据:与交通运输有关的重大社会经济活动如重要节假日、体育赛事、文娱活动、传统民俗、经济活动等数据;⑥调查数据:居民出行调查、道路交通调查、公共交通调查、专项辅助调查等数据。6类数据与交通管理和服务的关联度整体依次降低,但呈现随机化、个别化和突发性的特点。
根据交通运输部科学研究院2017年发布的交通运输行业信息资源目录,整理得到交通运输行业交通运输数据信息类别有500余类,具体有6900余项,主要是公路和水路。若加上铁路、航空、管道、物流、邮政等其他交通运输系统,那数据类型或种类更加多样和复杂。不同交通运输行业数据有相同或相似的方面,但会存在明显的行业差别。无论如何,在数据来源和数据类型上交通运输数据都呈现来源多样、类别纷繁复杂和结构复杂多样的特点。随着行业信息化的加速发展,各类交通数据还将日益丰富和完善。
据报道,2015年我国交通数据量已经从TB级别上升到PB级别。当前我国交通运输行业业务信息管理系统有700余种,数据规模以PB量级计。例如,全国重点营运车辆联网联控系统每天接收的300多万辆客货运车辆的10亿多条卫星定位数据,海事系统的船舶自动识别系统(Automatic Identifi-cation System,AIS)月均数据量达到17.2亿条,高速公路运营企业采集传输的视频数据日均数据量已达到PB级,联网收费数据月均7亿条以上,滴滴每天处理的数据量超过2PB。
交通运输数据具有数据量大、数据来源多样、数据类型多、结构复杂、数据增长率高、并发量大、实时性强的特点。今天的交通运输数据已具备鲜明且不同的大数据特征。
由于数据量大、数据分散、形态各异,用传统技术难以在合理时间内进行采集、管理、处理和分析,必须使用大数据的解决方案。甚至现有大数据技术也难以满足交通大数据的要求,必须开发或演化出数据处理技术手段多样、对大流量实时数据处理要求高、面向多用户多用途分析的交通大数据解决方案。
比如应进行多用户海量、异构、有效数据的高质量、高效率共享和交换的大数据系统方案研究,寻找到包括跨行业多源异构大数据集成化采集技术、跨行业多源异构大数据预处理技术、跨行业多源异构大数据集成融合技术等,以实现多源异构数据之间的数据信息资源、平台资源、网络资源和应用资源的有效融合和共享,为大规模现代综合交通系统的时空感知和运行状态管控提供技术支持。
当前,交通大数据发展的必然性和所蕴藏的巨大价值已经得到业界的一致认可,但是其落地使用和规模化发展仍然面临许多挑战。
面对管理上条块分割的交通运输行业现状,要解决今天的交通问题,协调各业务领域、各交通运输行业在质量参差不齐的行业现状中采集、处理、分析、应用数据,挖掘数据的价值,实现一切业务数据化、一切数据业务化,以及交通运输产业数据化,交通大数据产业化的交通大数据发展基本要求,不只是技术方面的事,单是在管理、政策、机制、体制上,就有很长的路要走。
二、交通运输业新一代信息技术人员的大数据素质和要求
随着交通大数据时代的来临,新一轮科技革命蓄势待发,以大数据、物联网、移动互联网、云计算、人工智能等为特征的新一代信息技术的快速发展,为传统交通运输的升级改造和现代综合交通运输体系建设与发展提供了强大的技术支持。
交通大数据技术解决方案或价值的实现,无论在技术层面、系统集成层面、优化整合层面都有许多问题要解决。但支撑和解决这些问题,首先需要大数据从业者即交通运输业新一代信息技术人员具有相应的素质和能力。
第一,交通运输业新一代信息技术人员要有鲜明的时代意识和强烈的责任担当。大数据技术和方法对交通运输的影响,不同于以往任何一种技术手段,其应用是深远的,影响是重大的。
第二,交通运输业新一代信息技术人员要有到位的大数据思维,包括数量思维、整体思维、集成思维、系统思维、分段思维、多面思维、容错思维、关联思维、预测思维、本质思维、核心思维、效率思维、价值思维等,是这些思维类型的整体或大部分,而不只是某一种思维类型或某几种思维类型。
第三,交通运输业新一代信息技术人员要有交通大数据基础技术能力。掌握大数据采集处理、大数据存储管理、大数据计算模式、大数据分析挖掘、大数据可视化和大数据安全等业务链上一个或几个相关联环节的技术工具,使交通大数据解决方案落地。
第四,交通运输业新一代信息技术人员要有交通大数据技术创新能力。主动结合交通大数据的特殊性、复杂性,使用已有的大数据技术方法或其他学科技术方法,创新性或创造性地解决行业领域内的特殊问题。
第五,交通运输业新一代信息技术人员要具有交通运输科学及数据科学的基础知识、基本原理和基础理论。
第六,交通运输业新一代信息技术人员要有清晰的警觉意识、敬畏心和自律性。大数据有大智慧和大能力,就得有大担当大约束大规范。数据安全是大数据时代和大数据价值的重中之重,否则有百害而无一利,但安全的根本,首先从大数据从业者有一颗有警觉性和自律性的安全“心”开始。
总体来看,大数据时代交通运输业新一代信息技术人员就是要往交通运输领域的大数据专业人才方向发展,成为交通大数据人才。
概言之,所谓交通大数据人才,是指具有大数据思维,有计算机、网络、数学、统计学、数据科学、信息科学基础知识,拥有交通运输业知识,熟悉行业业务,了解行业痛点,掌握分布式储存、并行式计算、数据挖掘等大数据技术,能解决交通大数据采集、存储、管理、检索、挖掘、呈现、应用等业务需求的复合型专门人才。
具体地,交通大数据人才还应在素质、知识、技能、经验、思想和品格上满足相应的要求。具体内容详见第二章第一节“贵州交通大数据人才素质建设”中的相关内容。
三、交通大数据人才的类别和特征
经过科学普及、企业推广、政府推动、舆论宣传、商业炒作、风投热捧,大数据如今也变得耳熟能详。特别是以大数据和人工智能为噱头的各种炫黑产品、事件和技术问世,在使大数据为人所熟知的同时,也使大数据的含义比较泛化。目前,大数据已具有时代、科学、技术、商业、市场、文化、思想等多种含义,但最根本的是其科学和技术含义,因为大数据从本质上说就是一种要素,只不过是一种很特别的要素,大数据的根本和关键是大数据技术解决方案,其他衍生含义或泛化含义是以此为基础而产生的。
大数据强调的是全面、系统、整体的大数据技术解决方案,要求可行、优化、高效、开放、稳定、安全、便捷,大数据类型和处理要求会有行业差别,主要是在数据基础和数据应用两端。从根本上看,大数据技术解决方案的逻辑过程、关键问题、核心技术和主要工具,在不同业务、产业和行业中没有大的不同,只有好和坏、简和繁、粗和精、低和高的区分。这从本质上取决于大数据科学技术及工具水平,从根本上取决于相应行业的大数据从业者。在交通大数据领域,具体的就是交通大数据人才。
在交通大数据领域,大数据从业人员主要分布在交通大数据技术解决方案的各个业务环节上,典型的有大数据采集处理、大数据存储管理、大数据计算模式、大数据分析挖掘、大数据可视化和大数据安全等,在业务链上的一个或几个相关联环节。以此为依据,交通大数据人才可按业务链纵深面的不同划分为交通大数据采集处理人才、交通大数据存储管理人才、交通大数据计算模式人才即交通大数据科学家、交通大数据分析挖掘人才、交通大数据可视化人才、交通大数据安全人才等类型。现阶段主要有交通大数据规划师、交通大数据工程师、交通大数据架构师、交通大数据分析师、交通大数据科学家五类。
交通大数据规划师:研究、发现、认识交通运输业中的大数据本质,找到相应大数据解决手段、方法和路径,规划和制订切实可行的大数据解决方案。
交通大数据工程师:负责大数据解决方案操作、测试、运维、调整、管理、评估,分析业务需求,改进方案不足,确保方案顺利实施。
交通大数据架构师:设计、组合、搭建各种平台架构,包括大数据文件系统层、数据存储层、资源管理器和资源协调器层、计算框架层、数据分析层、数据集成层、操作框架层等,以确保大数据系统架构落地可行。
交通大数据分析师:基于各种分析手段对交通大数据进行分析、挖掘、展现并用于决策支持,如对数据统计结果的甄别与分析、对数据分析结果的评估与展示、对用户数据需求的研判与反馈等。
交通大数据科学家:精通各种算法,利用数据作为资源,创新性运用数据处理和数据分析手段,为交通大数据提供算法支撑,挖掘数据潜力,创造数据价值,对交通运输行业大数据进行科学决策和预测。
这是从技术层面或大数据业务落实层面而言的。除此之外,从大数据产业链或保证大数据产品商业价值实现的横向面,也可将交通大数据人才划分为交通大数据应用人才、交通大数据安全人才、交通大数据管理人才、交通大数据领军人才等。
交通大数据专业技术人才如前面所说的从交通大数据规划师到交通大数据科学家五类专业技术人才等,不再赘述。
交通大数据应用人才:指能够把大数据知识、技术、技能等应用于交通运输行业或交通运输相关行业的社会生产实践,将交通大数据转化为产品和服务,以创造更大市场价值、经济价值和社会价值的人才。
交通大数据安全人才:负责交通运输行业大数据数据安全、数据管控、数据开放、数据分享和隐私保护等大数据全生命周期的全部安全问题的人才,包括数据采集、数据整合、数据提炼、数据挖掘、数据可视化、数据隐私、防止数据盗用和滥用、保护加密数据、阻止黑客攻击、安全态势判断、安全检测等环节。
交通大数据管理人才:对交通运输大数据及相关业务进行计划、决策、组织、领导、控制,保障大数据业务实现的复合型人才。
交通大数据领军人才:在交通大数据技术、管理、应用等相关领域取得较大成就,产生较大影响,或具有独特人格魅力,对交通大数据技术、应用、安全、管理等其他人才具有较大创新力、感召力、影响力的交通大数据领导人才。
上述各类人才在素质、知识、技能、能力、经验、思想、品格等方面的具体要求,详见第二章第二节“贵州交通大数据人才类别建设”中的具体内容。
和整体大数据发展阶段一样,目前,交通大数据的发展还处于初级阶段,在交通运输领域从事大数据工作的,除上述明确的交通大数据人才外,还有信息系统项目管理师、软件工程师、网络工程师、系统架构师、程序开发人员、统计分析人员、网络安全人员、计算机专家、统计学家等大数据源生领域即计算机科学、统计学、信息系统管理学中的大量人才,他们在将来较长时期内都会是交通大数据领域的重要从业者。