林清山（阿里云中间件）：阿里云中间件持续进化：从分布式应用架构向云原生AI应用架构全面升级

阿里云中间件持续进化 从分布式应用架构向云原生AI应用架构全面升级 林清山（阿里云中间件） CONTENTS •1.阿里云中间件简介 •2.阿里云中间件关键演进历程 •3.阿里云中间件开源生态 中间件是介于操作系统和在其上运行的应用程序之间的软件，实现了分布式系统的通信和数据管理。 阿里云中间件包括消息、微服务、高可用、可观测等类别，几乎全开源。 单体应用 消息 RocketMQMQTT EventBridgeNotify Openmessaging 分布式应用 微服务 DubboNacosSeata SpringAlibabaHigress HSF 应用 中间件 微服务 高可用 OpensergoSentinel AppactiveChaosBladeAmazon 函数 可观测 IlogtailEagleEyeTlog Arthas 基础设施 计算（物理机/虚拟机/容器）存储（块存储/对象存储/DFS）网络 阶段1分布式互联网架构 阶段2云原生架构 阶段3AI原生架构 迈向云计算时代，从服务阿里走向服务外部客户，演进云原生架 构，提供Serverless化中间件云服务。 面向AI原生应用架构，持续演进中 彻底告别IOE，发布Dubbo/HSF、RocketMQ/Notify、TDDL、Diamond、VIPServer等一系列划时代的互联网中间件产品。 2008 2012 2015 2016 2017 2020 20232024Future 淘宝 天猫 基础设施：IOE 业务 淘宝 天猫 菜鸟 飞猪饿了么闲鱼淘票票聚划算 共享业务平台 交易中心 商品中心 用户中心 库存中心 中间件:Notify/RocketMQ，HSF/Dubbo、 TDDL、EagleEye 基础设施：物理机/虚拟机、Mysql、Tair/TFS 五彩石项目，分布式应用，业务快速迭代 不断增长的双十一峰值 60 5049 40 32.5 30 20 14 17.5 10 4.2 8 0 2013 2014 2015 2016 2017 2018 订单峰值TPS（万笔） 分布式互联网架构 单体架构 双十一，超大规模秒杀，无限横向扩展，高性能，低成本（去IOE） 全链路压测 全链路观测 统一中间件的复利： •全链路traceID •全链路观测 •全链路压测 •全局高可用： 异地多活、单元化 应用 中间件 流量治理 数据存储 单元A 流量调度数据同步 全局高可用 应用 中间件 流量治理 数据存储 单元B 流量调度数据同步 应用 中间件 流量治理 数据存储 单元C 2012年阿里中间件开源RocketMQ、Dubbo，开启了持续十多年的开源旅程 使用开源 SpringNettyMysql 回馈开源 RocketMQDubbo Serverless 函数 服务应用运行时容器 操作系统 虚拟化硬件 PaaS 函数 服务应用运行时容器 操作系统 虚拟化硬件 IaaS 函数 服务应用运行时容器 操作系统 虚拟化硬件 云计算： 需求-全行业数字化转型 私有化部署 函数 服务应用运行时容器 操作系统 虚拟化硬件 供给-互联网公司技术输出、大规模资源多租共享、规模效应。 云原生： 应用云原生架构升级，容器化、微服务、事件驱动、应用Serverless 基础软件云原生架构升级，存算分离，Serverless云服务、按量付费 云的服务层次上移，客户专注业务，降本增效。 客户负责 云厂商负责 客户业务 云原生应用 SpringCloud Mesh 函数 Dapr 移动端App 设备端App K8S 面向云原生应用架构 •拥抱微服务生态，发布SpringCloudAlibaba；支持ServiceMesh，支持 云原生中间件 gRPC、MQTT、AMPQ、CloudEvent 计算层RocketMQProxy Higress网关 xDS Dubbo/Spring-Cloud- Alibaba/Seata xDS xDS OpensergoIstio 控制面 SentinelAppactive Chaosblade Ilogtail 存储层RocketMQStore Nacos/Nacos-Pilot/Nacos-Console 服务治理 Serverless Dev 云原生基础设施 计算 （物理机/虚拟机） 存储 （块存储/对象存储/DFS） 网络 Sidecar、Proxyless等多种Mesh形态接入方案；治理能力增强，如高可用、混沌测试 •助力Serverless应用落地，RocketMQ轻量无状态SDK,无分区负载均衡；Dubbo基于GraalVM完成对NativeImage的支持；发布Serverlessdev，提供全方位的 Serverless应用工具链 •拥抱K8s生态，Higress支持IngressK8s的网络通信标准规范、支持xDS协议 •拥抱云原生观测标准，发布ilogtail，支持Opentelemetry •消息引擎云原生架构升级，RocketMQ发布 5.0，基于云存储的存算分离架构，支持多种开源标准协议，gRPC、MQTT、AMQP、CloudEvent 生产关系 小规模开源 RocketMQ Dubbo 全面开源 ApacheRocketMQ、Dubbo、SeataSpringCloudAlibaba、Nacos、Higress Sentinel、Appactive、ChaosbladeIlogtail、ServerlessDev 开源 云计算 数智化时代最优生产力 经典应用 中间件 存储/数据库 经典应用 AI应用 中间件 存储/数据库 大模型服务 向量数据库 AI原生应用架构是一种以AI为中心进行设计的系统架构，应用架构全面拥抱大模型服务，通过模型能力组织系统架构，将模型、后端、前端放在同等地位，共同构成完整的系统架构。 AI应用架构的新变化： •请求响应耗时数十秒，算力消耗增大 •请求响应耗时方差大，文生文、文生图、文生视频 •从短连接走向长连接 •更高的数据集成，数据驱动 AI应用客户端 面向AI原生应用架构 question 流式输出answer Higress网关 实时流数据 交易事件 AI应用服务 Spraba ingAIAlib read context 私有数据增强 请求异步化 Prompt+context 支付事件 实时数据摄入 业务存储 离线embedding 传感器数据 ApacheRocketMQ 实时数据同步 实时embedding 向量数据库 航班动态 模型推理 负载均衡 车联网数据 存储CDC 大模型服务 模型服务实例1 模型服务实例2 ……… 模型服务实例n AI开发框架+AI观测能力+AI网关+事件驱动，一站式助力大模型应用落地 •拥抱SpringAI生态，发布SpringAIAlibaba，简化AI应用开发 •面向AI场景的可观测，阿里云可观测探针基于开源Open TelemetryPythonSDK进行扩展，能够自动获取大模型调用各个阶段的数据，例如RAG阶段检索出来的文档内容，模型调用的输入输出，执行时间，消耗的token等等数据，全面提升LLM应用的可观测性 •面向AI场景的网关能力增强，Higress支持多模型适配，已支持主流大模型供应商，包括通义千问，OpenAI/AzureOpenAI， 月之暗面，百川智能等；支持流式输出、请求/Tokens限流防护、长连接无损热更新，支持最小请求数负载均衡 •面向AI场景的事件驱动，RocketMQ支持主动Pop消费模式，自适应负载均衡，动态消费超时时长，适应不同算力消耗的请求；实时数据驱动RAG架构 和开源社区一路同行，社区大于代码 杭州ALC成立，首次线下meetup ApacheRocketMQ布道 ApacheDubbomeetup ApacheRocketMQmeetup 云原生中间件开源开发者沙龙 AI加持的开发者加速开源创新 和开源开发者一路同行，共同成长 每一年的开源之夏，从不缺席9个开源项目，25个可选课题 一年一度云原生编程挑战赛挑战开源性能极限 在数千开发者的共同建设下： •ApacheDubbo、ApacheRocketMQ进入Apache软件基金会中国项目领导者象限，入选“科创中国”开源创新榜单 •ApacheDubbo、Nacos入选开放原子年度生态开源项目 •ApacheRocketMQ、Nacos获得InfoQ十大开源新锐项目 •ApacheRocketMQ、ApacheSeata、Nacos入选InfoQ开源指数top10榜单 •ApacheDubbo、Nacos进入CSDN最具开源影响力项目榜单 •ApacheDubbo、ApacheSeata、Nacos获得信通院开源项目优秀评级 •ApacheRocketMQ开源商业化生态走向繁荣，有10+厂商提供对应的商业化服务 •Githubstar数突破20w，contributor数3000+ 欢迎大家加入，共建开源社区 Thanks QingshanLin 阿里云 通义灵码 30% 70% 70% 事务性工作 30% 价值创造活动 t 阿里云 开发者编码场景痛点 阿里云 写了代码还要写注释，费时费力 大量相似性编码，时间投入价值低 缺少编写单元测试习惯 各种SDK、接口需要使用，查找不方便 运行异常报错，各处搜索排查资料，还不靠谱 项目代码注释·少，速读难度大接手新业务学习新语言，上手成本高技术债务较多，代码可读性差 技术相关资料分散，检索成本高技术框架不熟悉，到处查·资料，写出来还不一定对 开发者的诉求 阿里云 编码效率高 沉浸式心流 聚焦技术设计 写的快：编码时能够提高“写”代码的效率，更高效地完成工作 解的快：遇到运行异常、编码问题时，能够快速找到排查思路，解决问题 写代码时，识别编码意图实时续写，保证编码心流 遇到编码问题能够集中且及时地获取解答和帮助，无需切换工具 减少编写重复性编码、单元测试、注释等投入，更加聚焦技术设计 面对不同编程语言的工作，不受语言差异限制，能够专注技术设计和业务实现 通义灵码核心功能 阿里云 Agent插件体系 企业个性化能力 账号授权管理 企业数据报表 代码、文档检索增强 专属模型微调训练 OpenAPI 代码智能生成 行级、函数级自动续写 单元测试生成 自然语言生成代码 代码注释生成 单行补全 代码解释 研发智能问答 研发领域自由问答 异常报错智能排查 代码优化建议等 SDK/API使用建议 代码片段搜索 技术文档搜索 阿里云 支持多IDE、多主流语言 支持Java、Python、Go、C/C++、JavaScript、TypeScript、PHP、Ruby、Rust、Scala等主流编程语言，VisualStudioCode、VisualStudio、JetBrainsIDEs等主流IDE， 兼容Windows7以上/macOS/Linux操作系统。 整体产品方案 阿里云 主流IDE … 问答意图识别用户习惯学习跨文件感知强化Prompt封装加密传输用户鉴权内容安全防护 代码补全模型研发问答模型 通义大模型 阿里云 新项目、新技术，需要频繁学习新知识 为每位开发者的体验而设计 阿里云 开发 代码质量、性能、可维护性等优化难度大 运行异常报错时，排查繁杂，也难找到头绪 重复、琐碎的代码编写，费时又费力 大量的框架、SDK、API，需要满网去找资料 新语言新框架，如何开始新项目 阿里云 SpringBoot初始化Web应用 行/函数代码实时续写 编码问题随时解答 阿里云 SpringBoot初始化Web应用