快递_物流企业信息化建设过程中架构的演进实践与思考-张登

快递/物流企业信息化建设过程中架构演进实践与思考 前圆通科技架构负责人/张登 个人简介 张登，消息中间件《RocketMQ技术内幕》联合作者。 曾在德邦，圆通，拼多多等公司负责架构及技术管理工作，擅长高并发系统架构设计与调优，多次参与企业级数字化转型的架构演进及实施规划。 主要以企业级开发框架的搭建、中间件及混合云相关技术的平台化建设工作为主，设计过消息分发、API网关、全链路监控、分布式文件存储、异构同步组件、数据/文件加解密等多个涉及百亿级规模的基础服务平台。 “IT巅峰技术”公众号维护者，RocketMQ上海社区联合创始人。 目录 01背景：快递/物流行业信息化建设面临的挑战 02解决思路之战略层：企业IT规划的目标和方法 03解决思路之战术层：企业架构的信息化、数字化、平台化的实践 04企业数字化建设的展望与思考 党的十八大以来，我国邮政快递业跑出发展加速度，流通成本大幅下降，规模优势加速显现，年快递业务量从2012年的57亿件增长到2021年的1083亿件，增长了18倍，连续8年位居世界第一。 成立于1994年。2003年，天天快递的年快件达到440万件，远超通达系。公司鼎盛时期，客户达30万余家，其中世界500强客户100多家，客户群体遍及电子商务、纺织服装、医药化工、高科技IT产业、货代企业、进出口贸易、制造业等多个领域。 2021年2月，天天快递宣布彻底转型，基本脱离了快递行业。 远成物流是国内较早一批成立的民营物流服务供应商。其成立时间可追溯于1988年6月18日，起家于铁路、汽运，逐渐发展至旗下拥有物流、快运、供应链、物流城、冷链五大业务板块，曾被称为“中国最大的民营合同物流企业”。发展历程中由于战略失误、转型业务失焦、管理失职等等因素错失了有利时机。甚至于现今面临破产的尴尬局面。 成立于2010年。在最顶峰的时候，全峰快递拥有大中型分拨中心65个、转运中心20个、运输车辆10000台、员工50000余人，7000多家的网点遍布华北、华南、华东、华中和西部地域。 成立于1994年。2007年，宅急送年营业额达13亿元，拥有的员工人数近万人，宅急送快递已经成为了当时快递行业的领头羊，佼佼者。 如今宅急送公众眼里“消失许久”，逐渐销声匿迹。虽然2021年获得10融资，但市场份额己今非昔比。 国通成立于2003年。公司坐拥5万名员工、40多家分拨中心、500多条干线班车运营路线以及上万辆车辆。2018年3月，国通快递全网停工。 成立于1992年。公司拥有13架飞机以及数十条国际货运航线和包机航线，一万多名员工。2019年10月，全一快递公司后宣布停止运营。 图表：2022年中国快递行业上市公司-快递业务业绩对比 资料来源：各公司公布财报信息 公司简称 公司市值（截至到2022年12月30日） 快递全年收入（亿元） 营收增速 快递全年业务量（亿件、亿票） 快递单票收入（元） 利润（亿元） 市场占有率 中通快递 217.58亿美元（约1498亿人民币） 353.77 16.3% 244 1.31 46.46 22.10% 圆通速递 691.23亿人民币 535.46 18.58% 174.79 2.59 37.75 15.81% 韵达股份 417.35亿人民币 458 2.3% 176.09 2.60 14.19 15.92% 申通快递 158.13亿人民币 326.13 实现扭亏为盈 129.48 2.52 3.3 11.71% 顺丰控股 6092.43亿人民币 2674.9 29.11％ 111.4 15.73 54.5 10.21% 德邦股份 213.92亿人民币 313.92 0.1% / / 6.5 / 京东物流 924.45亿港元（约811亿人民币） 1374 31.2% / / 8.7 / 注：顺丰为速运物流业务 •发布不规范 不稳•调用链复杂 •无监控工具 快速化 •响应慢 不快•处理慢 •开发慢 专业化 成本化 •数据不准 不准•口径不准 •边界不准 便捷化 智能化 •技术栈较多、较范、 不新较旧 •基本不更新 目录 01背景：快递/物流行业信息化建设面临的挑战 02解决思路之战略层：企业信息化建设的目标和方法论 03解决思路之战术层：企业架构的信息化、数字化、平台化的实践 04企业数字化建设的展望与思考 长期打补丁 借助于供应商 不敢动 不知道怎么动 体系化专业化平台化数字化 战略视角 业务为核心 一把手 应用架构 数据架构 技术架构 IT治理 IaaS混合云 PasS底座 SaaS共享服务 全链路监控 数字化运营 企业架构规划将从战略与业务视角的分析出发，梳理出公司核心业务与运营能力要求，通过信息化手段支撑核心运营能力的方式进行公司战略的落地支撑 战略视角 （为什么?） 公司战略 IT治理 业务架构1 业务战略 核心运营能力要求 1业务架构信息化能力需求 应用架构2 业务视角 （做什么?） 数据架构3 信息化视角 （如何做?） 2应用架构 3数据架构 4技术架构 技术架构4 5 IT治理5 企业架构 战略解读 业务架构与高阶需求 IT现状分析和改进方向 业务与IT定位 IT规划 高层访谈 集中研讨 内部资料分析 IT现状诊断报告 应用架构蓝图 中层座谈 业务现状诊断报告 行业领先实践报告 业务规划蓝图 数据架构蓝图 输出战略解读报告 公司战略拆解和对齐 高阶需求分析 技术趋势分析 业务场景模拟 技术架构蓝图 专题报告 IT治理规范 目录 01背景：快递/物流行业信息化建设面临的挑战 02解决思路之战略层：企业信息化建设的目标和方法论 03解决思路之战术层：企业架构的信息化、数字化、平台化的实践 04企业数字化建设的展望与思考 统一化原则 •统一开发、运行、运营基础能力 标准化原则 •标准化架构设计与高可用方案 自动化原则 •自动化的CI/CD、自动化测试 中台化原则 •中台化技术、应用、数据基础能力 一体化原则 •基于敏捷的从需求-开发-运维一体化机制 数字化技术平台 SAAS中台化 目标：构建统一开发框架与组件库、DevOps一体化能力 企业PaaS 价值：提升整体交付效率与质量 目标：构建以中间件平台、共享基础服务、共享技术服务等为核心的中台服务能力 价值：提升整体健壮性及系统稳定性；减化异构、内外集成复杂度，提高安全保障 IaaS基础设施 目标：构建以全链路监控为核心的自动化运维、运营分析、安全能力 价值：提升整体运营效率、资源利用率 PaaSFramework 安全 运营态 运行态 开发态 运营门户 微服务 统一脚手架 服务网格 SpringCloudalibaba ,ServiceMesh 共享技术服务 分布式缓存 分布式消息 分布式文件 分布式JOB 分布式事务 分布式服务 RocketMQ,Cancel,DataX,XXL-Job,CacheCloud,ES，Seata，Flowable，Drools，FastDFS 安全 安全合规 个人信息安全 数据安全 文件安全 DevOps 流水线编排 CI/CD编排 JIRA, Confluence,GitLab,SonarQ,Jenkins,Nexus,Harbo,rancher,ingressJUnit,Selinum, Jmeterk8s 存储层 结构化数据 半结构化数据 非结构化数据 MySQL,Sharding-JDBC，OnceBase，ES，Clickhouse,MongoDB,Hbase 大数据 实时计算 离线计算 数据分析 Flink,Kafka,Spark,Hive,Hbase,GreenplumHadoop，ES, StarRocks 移动端 混合框架 设备集成 H5,BerkeleyDB，Kotlin,Weex,SQLLite,PhoneGap 物联网 物联网设备监控… MQTT, RFID，传感器网络 共享基础服务 统一门户 统一登陆 统一认证/鉴权 统一代办 统一工作流 前端组件库+后端SDK+后端服务平台 外部接入层 Internet接入 Intranet接入 BindDNS，F5/Lvs，APISIX/Nginx；/HAProxy 微前端 前端组件 微前端 前端服务注册/发现 预加载 流量分发 数据通信 vue3+element-plus+windicss+sass+ts 混合云IaaS 虚拟计算资源 虚拟化Iaas 虚拟存储资源 CPU MEM 文档存储 块存储 文件存储 对象存储 虚拟存储 VLAN ECS OSS 公有云 MNS 日志服务 RDS 云监控 微服务支撑 注册中心 熔断限流 链路监控 日志中心 Nacos，Sentinel，skywalkin，ELK 开源 轻量化技术 版本不一致 兼容性差 技术栈繁多 使用 复杂 规范不统一 更新不 及时 网关 APISIX+SpringCloudGateway 任务调度 配置管理 监控管理DockOS-Monitor 微服务SpringCloud ServiceA ServiceB ServiceC… XXL-JOB 注册中心Nacos 系统监控预警OpsAlert 中间件 消息中间件RocketMQKafka 缓存JetCacheRedis NOSQLES Hbase 大数据FlinkStarRocks 配置中心Nacos 中间件监控预警CacheCloudMQCloud 基础框架DockOS-Framework 限流熔断Sentinel 全链路监控预警Skywalking 负载 F5/LVS 监控 安全 策略… 某小型快递公司技术架构DockOS-FrameWork整体介绍—参考 客户端 PC APP 设备 Other …… 日志管理 应用日志ELK 审计日志Audit 行为分析 存储 MySQL Redis ES ClientHouse M S M S M S kdRocketMQ Hbase WEB 组件库 脚手架 中间件支撑 基础服务 分布式消息队列 消息 前端控件 时间控件 树形控件 统一登陆平台 表格控件 表单控件 数据推送平台 分布式缓存 缓存 短信平台 安全框架 注册发现 数据通信 组件封装 预加载 流量分发 中间件支撑 基础框架 国际化 基础服务平台 工作流平台 消息平台 任务调度 分布式文档存储 搜索引擎 前后端封装 安全拦截器 异常拦截器 自定义标签 任务调度平台 日志平台 全链路监控平台 日志分析 日志分析 登录集成 用户管理 权限管理 渗透测试平台 分布式文件存储 文件上传 服务组件 角色管理 数据字典 规则配置 BI 实时计算 驾驶舱 配置管理 版本管理 配置管理 注册中心 质量中心 云管平台 YAPI 接口管理 代码生成 开发规范交流平台 微前端 服务端脚手架DockOS-FrameWork与各配套服务的关系-参考 系统功能菜单集成跨系统用户权限、角色的统一管理系统间菜单的集成、功能整合 跨系统间无缝跳转访问 自助服务常见问题、业务知识库搜索问题上报、智能问答 全新体验 自定义首页，根据不同岗位/用户展现不同的页面和数据 综合搜索、常用推荐等人性化的功能，提升办公效率和用户体验页面可以分层配置 行为分析 操作日志追溯，针对操作全过程的行为分析识别风险操作 统一登录统一所有系统的登陆统一所有系统的人口SSO第三方系统单点 4 3 2 5 6 1 中台门户 统一待办 统一文件上传/下载中心统一待办中心 应用相关 监控web应用实例状态 系统的慢URL 系统的慢SQL 系统异常监控 …… 全链路相关 监控体系 运营相关 故障分析 舆情分析 安全分析 日志相关 MySQLlog RocketMQlog ESlog 表现层的业务操作请求->API