边缘计算与大数据湖在上海轨交的应用

上海地铁 1 边缘计算与数据湖在轨道交通的应用 上海地铁 目录 01边缘计算的探索 02边缘计算实践与应用 03数据湖的思考 04数据湖与数仓的融合 2 边缘计算的定义 上海地铁 边缘计算是在网络边缘给用户提供IT服务环境以及云计算能力的分布式开放平台。 边缘计算 边缘计算中的“边缘” 边缘计算中的边缘则是相对的概念，是指从数据源到云服务器之间的数据路径上的任意计算网络以及存储资源。 计算机网络的“边缘” 计算机网络的“边缘” 计算机网络中的边缘是指互联网中的所有主机的集合。 3 边缘计算的特性 上海地铁 实时响应 边缘计算的核心理念是“边缘计算应当更靠近数据源，更靠近用户“，低延迟。 2 低带宽运行 将工作迁移至更接近于用户或是数据 采集终端的能力能够降低站点带宽限4 制所带来的影响。尤其是边缘节点服务减少了向中枢发送大量数据处理的请求时。 可扩展性 系统处理变化的应用请求的能力具有较高的扩展性。 位置感知 边缘设备与终端设备处在同一个局域网中或统一总线上，甚至局 3 域网路由器或网关就是边缘设备。 5隐私保护 数据本地采集，本地分析，本地处理，有效减少了数据暴露在公共网络的机会，保护了数据隐私。 1 4 上海地铁 目录 01边缘计算的探索 02边缘计算实践与应用 03数据湖的思考 04数据湖与数仓的融合 5 边缘计算在轨道交通的应用 上海地铁 边缘计算在轨道交通的应用十分普遍，特别在一些对现场安全要求高、并可在断网条件下也可正常工作的场景，边缘计算是云计算的补充和延伸，能实现智能化的实时数据处理等功能。例如：在轨道交通的信号系统和自动售检票系统中均有较为广泛的应用。 边缘计算的架构 边缘计算是指能够在网络边缘执行计算，以使得计算发生在靠近数据源一侧的新型计算模式。 6 边缘计算实践——信号系统与车辆 上海地铁 信号系统 根据道岔、信号机、计轴区段 等数据进行测算，将最终移动闭塞结果发送给区段车辆。 ATS发送:进路排列命令 ATS MAU发送:信号机状态、报警 ATS发送:进路排列（后备模式） 道岔、信号机、紧急停车按钮、计轴区段、车辆段 PMI发送:信号机状态、报警 ZC 外部接口:Mimic,COCC,SCADA,主时钟,Radio,FAS,BAS,PIS PMI发送:信号机状态 道岔、信号机、紧急停车按钮、计轴区段、车辆段 MAU发送:旁路命令、联锁进路命令 PMI ZC 车辆系统 车辆系统会根据接收的数据自 行计算出开行速度、距离等参数。 PMI 站台屏蔽门/安全门 边界状态、交权/接权消息 MAU MAU 站台屏蔽门/安全门 MAU发送:LMA AP AP VOBC(ATP/ATO) VOBC(ATP/ATO) 7 边缘计算实践——信号系统与车辆 上海地铁 信号系统 根据道岔、信号机、计轴区段 LMA延伸至覆盖MAU进路的过冲防护区段: D 信号机保持红灯 等数据进行测算，将最终闭塞结果发送给区段车辆。 LMA延伸至 列车前端进入LMA: MAU: 进路的进路体 信号机变成红灯 信号机显示绿灯 ATS进路 MAU预留 LMA A 列车1 列车1 列车1 车辆系统 车辆系统会根据接收的数据自 行计算出开行速度、距离等参数。 B C 过冲防护区段 8 边缘计算实践——信号系统与车辆 上海地铁 信号系统 根据道岔、信号机、计轴区段 A 等数据进行测算，将最终闭塞结果发送给区段车辆。 当道岔区段出清M时AU，1建M0立4A号UL进MA路:被授权PM:I进路解锁由于104号PMI进路P还M未I保被M持授AU防权将护，L(它M区A是段延一锁伸个闭至障)越碍过物PMI进路 D 可以请求 MAU进路覆盖PMI进路: MAU请求PMI执行104号进路 车辆系统 车辆系统会根据接收的数据自 列车1 B 列车1 列车1 104号PMI进区路段锁闭 列车1 C 行计算出开行速度、距离等参数。 ATS进路请求 MAU预留 过冲防护区段 LMA LMA 9 边缘计算实践——自动售检票系统 上海地铁 ACC MCCSC 状态监控 SLE 票卡 数据监控：将交易数据上传，状态数据监控、分析，辅助决策。 参数分发：对不同线路不同SC，发送不同参数，减少中央压力 进出站 进出站：闸机读取票卡中进站信息，实际计算票价、扣款，整个过程基于RFID技术及密钥保护，实现在脱机条件下，实现乘客的快速通行及票务资金的安全。 黑名单判断：通过读写器，完成票卡的验签，打标签、锁卡。 票卡更新：授权票卡读写、更新判断。 10 上海地铁 目录 01边缘计算的探索 02边缘计算实践与应用 03数据湖的思考 04数据湖与数仓的融合 11 数据湖特性 上海地铁 数据湖(DataLake)以集中式存储各种类型数据，包括:结构化、半结构化、非结构化数据。 数据湖无需事先定义Schema，数据可以按照原始形态直接存储，覆盖多种类型的数据输入源。 数据湖无缝对接多种计算分析平台，对Hadoop生态支持良好，存储在数据湖中的数据可以直接对其进行数据分析、处理、查询，通过对数据深入挖掘与分析，洞察数据中蕴含的价值。 12 数据湖特性 上海地铁 对比项 数据仓库 数据湖 支持数据类型 有限的数据类型支持，以结构化为主 支持结构化，半结构化和非结构化数据 数据采集方式 过程开始于业务流程识别，通常由数据管理者和业务负责人基于数据和业务的某种假设 在数据湖世界里，没有关于已经取得的数据假设。一旦数据发生，即开始在细粒度级别收集数据，业务流程发现基于数据与输入数据 数据处理能力 写入模式，建立模型对数据进行处理，为了减少数据的复杂性，比较难于实现上卷(Rollup)和钻取(Drilldown)分析 读取模式，接受原始形式的数据，在数据细粒度级别收集探索和分析非常简单 架构重建能力 需要对原有数据进行重构 不存在结构问题，支持复杂数据类型，便于重置数据模型查询和应用，并具有简单的重建关系的能力 动态性 敏接性差，采用静态圈定配置，基于业务流程驱动而设计系统 高度敏捷，动态灵活配置，基于数据的业务流程定义 扩展性 提供预定义的业务需求 点燃创新和新的商业机会 数据利用率 数据利用率高，按数据优先级和数据可用性，可以快速定位所需数据 数据类型较多，缺少数据优先排序，查找和分析前的准备数据时间较长 响应能力与安全性 具有较高的需求响应能力，可保证平稳高效的数据访问和保护数据的能力 数据响应延迟较高，安全性较高 13 数据湖+数据仓库——湖仓一体 上海地铁 随着理念与技术的更新迭代，基于上海轨道交通的现状，数据湖+数据仓库的模式更适合实际的情况和业务场景拓展。 大数据发展趋势分析 数据服务 •以更加深度的数据开放，跨专业大数据关联。 •以更多样的应用能力，构建针对性不同场景解决方案。 数据服务 深度数据开放，针对方案制定 数据应用 数据分析 应用更加智能，构建更加快速人工智能分析，直引湖中数据 数据质量 数据湖+数据仓库 数据驱动规范，入湖标准制定 数据•智能应用，基于AI与机器学习分析，个性化服务提供。 应用•应用快速构建，基于数据湖进行细粒度的收集、探索和分析。 数据•从深度学习到机器学习，从机器学习到人工智能。 分析•基于数据湖的大量的原始数据，深度训练，快速分析。 数据•针对性对数据源系统输入数据制定。 治理•标准数据驱动治理规范，以数据为核心实时制定治理规范。 数据•数据平台存储方式向数据湖模式转变，多数据汇聚。 平台•支持结构化、半结构、非结构化数据 14 上海地铁 目录 01边缘计算的探索 02边缘计算实践与应用 03数据湖的思考 04数据湖与数仓的融合 15 湖仓一体——数据全生命周期管理 上海地铁 16 湖仓一体——数据全生命周期管理架构 上海地铁 权限管理安全接入数据加解密数据分级日志审计 统一认证 数据标准数据质量元数据管理数据地图数据资产 平台资源 人工智能训练平台 模型算法库 机器学习 可视化建模 统一监控调度 任务发布调度管理任务管理资源监控调度配置 共享开放服务 API SDK JDBC/ODBC 微服务 数据资产管理 数据业务管理 数据安全管理 关系型数据库 MPP 数据库 分布式 存储系统 NoSQL 数据库 数据清洗 数据处理 数据分析 数据迁移 实时采集 离线采集 结构化数据采集 非结构化数据采集 17 湖仓一体——数字底座 上海地铁 上海地铁 统一运维 平台运维 数据运维 展示层——指标看板、可视化大屏 五大应用集群（建管、运管、维保、企管、资源经营） 数据共享服务 资源服务目录 标准数据接口开发 数据分析及可视化 联机数据分析 报表指标输出 数据可视化工具 数据分析探索工具 数据开放管理 沙箱服务 数据图谱 权限管理 数据挖掘 数据调度管理 计算层 元数据管理数据质量 主数据管理规则计算 数据架构 管理 数据关系 管理 多场景数据应用 数据异常 管控 预测性数据服务 计算区 批数据计算 流数据计算 数据资产管理 标准建设 资产总览 数据清单 资产地图 数据运维管理 数据分级分类管理 数据流程管控 数 大 专业型 非结构化数据池 调度日志文本办公文档 报表、HTML 图片、语音数据CCTV视频数据 车载设备视频数据 据 算法库 实时数据区 实时处理 实时指标 实时事件 平湖 客流实时预测线网停运评估 台 …… 数据建模 数据关联分析 算法归集 AI智能自主学习能力 仓一体存储管理层 通用型 算法库 智能语义分析图像解析 财务资金平衡 …… 物理模型 数字孪生 …… 设备故障预警生命周期管理 …… 统一资源管理层 离线采集 文件数据 准实时采集 数据导入上报 离线数据区 结构化数据池 6大主题库 业务场景专题库 数据资源池 指标层 整合层 归集层 统一分布式存储 分布式数据存储 消息队列 图数据库 RDB Redis块存储 分布式文件存储 外部数据 天气、灾害、政策、政府… 资产经营专业经营、开发、广通商数据 企管专业 人事、财务等专业系统及OA数据 建设专业 建设、建筑、施工、工程类数据 运营专业 票务清分、行车调度、客运服务数据 设施设备专业 车辆、信号、机电、供电、工务等 流媒体采集 实时采集 感知层 18 上海地铁 谢谢 19