王仁达-阿里巴巴构建 Serverless 研发平台的探索与实践

阿里巴巴构建 Serverless研发平台的探索与实践 王仁达 阿里巴巴高级技术专家，阿里云云原生ServerlessDevs研发负责人 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 Content 目录 01应用Serverless化的困难与挑战 02 ServerlessDevs助力提升Serverless研发效能 03 基于Serverless技术构建Serverless研发平台实践 01 应用Serverless化的困难与挑战 Serverless架构的“欢喜”和“忧愁” 物理机虚拟化云主机容器Serverless 运维成本 Serverless技术发展 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 Serverless 容器 云主机 虚拟化 物理机 业资 务源 逻成 辑本 提效降本 极致弹性 按量付费 开箱即用 不同抽象级别的Serverless形态 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 Serverless对开发者的挑战依旧很大 •如何快速上手 •应用如何Serverless化 •应用组织形式 •框架、运行时选择 接触Serverless 深入Serverless •如何快速跑通原型 •如何调试、部署 •如何优化冷启动 •如何探测弹性瓶颈 •如何划分不同环境 •如何进行CI/CD •如何追查问题 •如何进行成本治理 困惑Serverless 学习Serverless的三个阶段 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 02 ServerlessDevs助力提升Serverless研发效能 ServerlessDevs：开源开放的应用生命周期管理工具 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 ServerlessDevs助力研发效能 ServerlessDevs助力研发效能 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 Serverless需要全生命周期管理工具 Serverless是一种研发新范式，由于云上开发模式较传统开发方式有较大差异，因此需要适配的工具 01 02 03 04 05 应用初始化 开发 调试 部署 运维 本地工具 应用中心 存量资源导入 本地开发 IDE插件 开发者套件 本地调试 远程调用端云联调 压测/性能探测 灰度发布 多环境部署 CICD平台集成 日志查询 指标查询实例登录 弹性管理 ServerlessDevs助力研发效能 可观测性 建设 端云联调 云端调试 高性能部署 CI/CD 传统框架 迁移 …… 应用管理 一键压测 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 没有合适的开发者工具 项目构建ServerlessDevs加持 ServerlessDevs助力研发效能 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 项目开发完成 构建线上环境实例 在实例中构建项目 将构建产物放入项目中 完成项目构建 过程复杂，需要了解线上环境，并在本地进行精准的模拟 项目开发完成 Build命令 完成项目构建 Build命令自动帮助开发者做了大量的操作，包括拉取镜像、构建环境，执行构建等 没有合适的开发者工具 应用调试 ServerlessDevs加持下 ServerlessDevs助力研发效能 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 无法模拟请求触发执行 本地无法访问VPC资源 本地可用线上不行 很难构建事件请求 本地模拟线上环境，进行项目的调试 通过工具直接连接到实例，进行代码调试 实例登录 端云联调 一键构建代理服务，将VPC资源完美映射到本地，可以在本地直接进行全链路调试 本地调试 模板继承 通过模板的能力描述不同的环境 指定环境部署 通过指定环境可以快速将服务部署到不同的环境 CICD集成 可以与常见的CICD平台进行集成，以实现应用开发上线流程的科学合规 和CICD平台对接困难 权限管理困难 配置差异化管理困难 环境资源拉起困难 没有合适的开发者工具 多环境部署 ServerlessDevs加持下 ServerlessDevs助力研发效能 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 ServerlessDevs助力研发效能 信通院Serverless工具链模型 ServerlessDevs开源生态 放 开 无服务 力 开发者能器 工具 链 用户 无服务器应用 生命周期管理能力 初始化配置 应用开发 应用调试 应用打包 部署发布 应用下线 支撑管理能力 授权管理 触发管理 应用管理 RESTAPIBFFSSR WebsiteFullStackAPP Job …… …… 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 研运管理 运维管理 编排管理 ServerlessDevs开发者工具ServerlessRegistry生态 无服务器平台n 无服务器平台2 无服务器平台1 ServerlessDevsModel … Web框架 Nas网盘 Vscode We bide Web应用 中文关键词提取 ImageAI目标检测 AI数字绘画stable-diffusion 人工智能 音视频 Ffmpeg音视频处理 音视频转码 直播视频流截图 全景录制 文件处理 Puppeteer网页截图 Word转PDF PDF文件水印 OSS上传Zip文件解压 图片压缩 PDF转Image ServerlessDevs助力研发效能 沉淀企业级最佳实践模板 Kafka传递连接器 OSS传递连接器 SQLServer传递连接器 OTS传递连接器 日志实时ETL Kafka离线转储OSS 数据处理 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 03 基于Serverless技术构建Serverless研发平台的实践 ServerlessDevsRegistry（项目案例库）ServerlessDevsPlatform（应用研发平台） Web全栈 音视频处理 文件处理 人工智能 多环境管理 CI/CD WebIDE Job相关 大数据处理 全栈开发…… 项目可观测 IaC…… ServerlessDevsToolChain（开发工具链） 初始化 开发 调试 部署 运维 项目脚手架多账号管理可视化配置 本地开发编辑器插件开发者套件项目构建 本地调试端云联调远程调试事件触发 灰度发布多环境部署模板继承 CICD平台集成 日志查询指标查询实例登陆弹性管理 云服务Serverless运行时BaaS资源 开源生态 Serverless平台工程 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 ServerlessWebIDE •传统WebIDE的问题 •开服成本高，支持地域少，代码稍大加载缓慢，海外用户体验不好 •在单独的网络环境执行，和真实环境差异大，无法挂载 NAS/OSS、不支持Layer、无法进行在线debug •弹性效率差，无法按需扩容，活动时需要扩容资源池 •启动速度慢，打开要5s以上延时 •使用K8s+NAS，多租安全性差，改造成本高 •需要使用网关，运维成本高 •ServerlessWebIDE •内置网关，天然支持WebSocket •天然多租隔离，通过函数来隔离不同租户 •完全Region化部署，只依赖函数/OSS/RAM资源，开服成本极低 •支持小账号模式，和真实网络环境完全一致 •按需弹、随便弹，计费模式和用户停留时长完全匹配 •天然多租隔离，通过函数来隔离不同租户 •开箱即用可观测能力，运维成本极低<0.5人力 用户只需要关注业务代码(Gitops) 提交代码 Webhook触发 Deploy Build Plan 开发者 ServerlessDevs ServerlessCICD 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 CICDpipeline ServerlessCICD 1.函数计算天然适合CI/CD场景 •事件驱动（Httpwebhook、OSS、定时） •安全多租 安全检查构建部署灰度审批发布 •构建运行时灵活易扩展（多种Runtime+Layer） •异步任务内置队列、数据库、计算（取消、回调、重试） •极致弹性，按量付费 •打通所有用户VPC网络，友好支持小账号方案，支持私有Gitlab Http事件触发 Master VerifysecretFilterwebhook 消息事件触发 Workers TaskWorker TerraformWorker 2.基于函数计算实现IaC资源编排 •自动生成STS，代码中可直接使用，无需业务自己生成秘钥落盘 •支持OSS挂载、NAS挂载，state持久化容易 •Terraformbinary可以打成Layer进行加速 •支持众多region，非常适合开服 Router事件回调 PipelineEngine SandboxWorker 3.基于ServerlessDevs为底座 •多环境管理 •流水线管理 Core EngineGit TriggerCheckout DingTalk CodeScan Weixin Licensecheck Ossuploder … 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 ToolkitsPlugins 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 Serverless可观测 •指标采集 •对Runtime无侵入，不占用户资源 •多租安全 •支持异构环境 •内置丰富指标、生命周期事件 •支持编程模型扩展接入第三方存储 •数据开放，可二次加工 •数据处理 •API即函数，极致弹性，毫秒级延迟 •Region化部署 •开发调试便捷 2023DevOps国际峰会暨BizDevOps企业峰会·北京站 Thanks DevOps时代社区荣誉出品