丁宇-AI 编程颠覆 IT 生产力

AI编程颠覆IT生产力 丁宇 阿里云云原生应用平台负责人 企业级应用架构 单体应用 互联网分布式架构 微服务 Serverless架构 服务化/模块化/免运维 企业对技术红利的追求是无止境的 程序员产能和软件研发效率成为企业竞争发展的瓶颈之一设计、研发侧过去十多年没有发生根本性变化，如何提效？ 容器化编排调度、分时复用弹性伸缩、混合部署，提升了企业资源效率容器化上云、K8s化管理、Serverless化架构，提升了企业运维效率微服务、容器化、DevOps、GitOps、IaC，提升了企业交付效率 业务需求 产品需求 设计 开发 + 自测 集成 + 验证 灰度 + 生产发布 线上运维 设计 开发 交付运维 应用研发 生命周期 AI时代：数据、计算与模型协同发展，知识触手可及 先验 知识逻辑 算法创新与突破，从数据中抽取知识 农业 法律 推理伦理语言理解 认知艺术物理医学 哲学金融 持续演进的模型技术 爆炸性增长的数据不断提升的计算能力 编程成为最高频的AI应用场景 CategoryBreakdownof4,098ChatGPTPrompts (AnalysisofuPnioqluiteicusse&rsN’soinngplreoafintdmulti-promptsessionsfromMay&June,2023) 3% Personal&Other10% Sales&Marketing13% Content21% Programming,29.14,29% Education23% 大模型带来了AI应用的井喷，在各种落地场景中，最高频刚需的是什么？ Datos针对2023年5-6月ChatGPT用户使用情况做了分析，其中编程以29%占比高居榜首 AI成为提升软件研发效率的必选项 程序员的时间分配情况 程序员2/3的工作时间直接跟代码相关 程序员IDE使用排行 32%23% 编写代码和改进已有代码会议，管理和运营 VisualStudioCode IntelliJVisualStudio PyCharmEclipseAndriodStudio IPython/Jupyter Vim 12% 9% 9% 23% 19% 33% 29% 39% 19%12% 代码维护测试 4%响应安全问题 SublimeText8% … PHPStorm4% 9%XCode% 其他Coda% 程序员花费三分之一的时间编写新代码或改进现有代码（32%）。花费35%的时间来管理代码，包括代码维护 （19%）、测试（12%）和响应安全问题（4%）。另外23%的时间花在会议以及管理和运营任务上 Atom% Emacs 0% 13%25%38%50%63% 程序员的时间分配：https://thenewstack.io/how-much-time-do-developers-spend-actually-writing-code/IDE数据来自《中国开发者现状调查》：https://www.199it.com/archives/1405936.html LLMasCopilotLLMasAgentLLMasMulti-Agents 阶段一阶段二阶段三 辅助完成任务自主完成任务协同处理复杂任务 • 不改变软件工程专业分工，增强领域专 业技术，AI研发工具辅助人完成任务 •影响整个软件研发过程，多Agent互相协作完成复杂工作 •单一职能专家，能够自主使用工具完成预 定任务 工具赋能人员提效 工具独立完成工作 工具与人协同共生 人主导、提示及确认 人给定上下文，完成知识对齐 人负责创意、纠偏及确认 代码辅助生成 任务自主处理 功能自主研发 Copilot阶段 通义灵码，GitHubCopilot Agent阶段 通义灵码，Devin,CopilotWorkspace Multi-Agent阶段 AI程序员，Devin •通义灵码是基于通义大模型实现的智能编码助手，提供代码智能生成、研发智能问答等能力，帮助程序员更高效的写代码 •支持Java、Python、Go、C/C++、C#、JavaScript、TypeScript、PHP、Rust、Scala等200多种编程语言 •支持VisualStudioCode、JetBrainsIDEs等主流IDE及远程开发模式，兼容Windows7以上/MacOS/Linux操作系统 通义灵码致力于帮助开发者编码提效100%，帮助企业研发提效50% 沉浸式编码 IDE端内即可满足编码场景中的技术资料检索、技术难题解答诉求，打造沉浸式编码体验 贴合代码库场景 客户端和模型层同步优化针对代码跨文件上下文感知能力，生成代码更加贴合当前场景 阿里云使用场景友好 针对阿里云的云服务使用、SDK/OpenAPI使用等场景调优，代码生成、智能问答对阿里云的云服务使用场景更友好 安全、可控 加密传输，并支持身份鉴权、内容安全防护等，代码数据仅用于推理，不会进行二次训练，全方位保障数据安全 通义垂直领域产品 通义灵码 通义效率 通义星尘通义晓蜜 …… 模型定制与应用服务 阿里云百炼 模型矩阵 千问大语言模型通义万相三方开源&商业模型魔搭社区 模型训练 （PAI灵骏） 阿里云飞天操作系统 模型推理 （PAI灵积） 1）公开数据集评测结果中，通义灵码的代码生成模型多项指标领先于友商 2）72B模型，使用超过3万亿tokens的数据进行预训练，在多个中英文评测中，显著超过友商模型，并且稳定支持32K上下文 通义灵码的功能架构 问答会话管理 代码后处理 上下文感知 分码分析 本地服务 生成问答对话 身份鉴权 服务端 IDE客户端 本地RAG 向量数据库 提示词工程 模型路由 •生成粒度 …•触发时机 •业务上下文感知 •多模型路由 •扩展集成 企业级RAG 向量数据库 •上下文增长 •MoE模型 Agent框架 本地工具 短期记忆 数据采集数据清洗数据标注数据解析效果评测 研发问答模型 代码补全模型 模型数据 算力GPU算力池 企业专属模型模型训练SFTEmbedding •精细化数据处理 •面向任务的数据集 算力运维 •面向能力的数据集 代码实时续写 单元测试生成 代码注释生成 研发领域自由问答 异常报错智能排查 根据当前语法和跨文件代码上下文，实时生成行/函数 建议代码 根据JUnit、Mockito、SpringTest、unittest等框 架生成单元测试 一键生成方法注释及行间 注释 研发领域知识问答，快速 获得答案和解决思路 一键启动报错排查的智能答疑，快速反馈排查思路或修 复建议代码 研发领域模型定制 核心编码场景覆盖 环境感知代码生成 为开发者体验设计 代码续写 单元测试生成 调试问题排查 代码续写 单元测试生成 调试问题排查 代码续写 单元测试生成 调试问题排查 毫秒级的生成 编速码度时行级/函数级实时续写，编码效率高 恰到好处的生成时机 用户键入和生成时机针对性优化，不等待不打扰 恰如其分的生成长度 根据语法、代码上下文环境智能化识别生成长度 贴合代码库的业务场景 支持跨文件上下文感知，生成代码更贴合代码库上下文 125.00% 毫秒级的生成速度：分级缓存、丰富的模型组合 代码补全任务CodeQwen2模型 代码专项任务Qwen-Plus模型 73.00% 在中等参数模型下，提供代码解释、注释生成、单元测试、代码优化、运行错误修复、提交信息生成、重构建议等7项代码技能 代码补全任务是时延敏感型任务，使用专门训练的小参数代码模型，平衡代码生成效率与质量 流式补全 IDE客户端 100.00% 问答管理 代码后处理 会话管理 分码分析 本地缓存 服务端缓存 推理缓存 研发问答模型 专项任务模型 代码补全模型 75.00% 本地服务 50.00% 调用量 研发自由问答Qwen-Max模型 20.6… 6.36% 研发问答对模型知识面、编程能力、推理能力有更高要求。需要最大参数模型并叠加RAG技术，消除模型幻觉，提升回答质量 模型路由 生成问答对话 提示词工程 身份鉴权 服务端 25.00% 模型 0.00% 分码分析会话管理 本 地代码后处理问答管理 服 务 身份鉴权提示词工程 服 务生成问答对话模型路由 端 代码补全模型专项任务模型问答模型 模 用户键盘输入 上下文解析 历史行为特征 速度及位置 上下文及关键字 用户习惯学习 触发策略 参数调整 参数调整 用户研究 触发及延迟 埋点分析 代码展示 针对不同的端，对用户行为进行持续学习、优化触发策略，符合开发者的使用习惯 数据监控 主观调研 型 IDE客户端 …. 问题 •生成单行代码：无法构建完整的函数或模块 •代码块的不同提供不同生成规则：准确度低 通义灵码基于代码的语义信息，充分让模型理解不同场景下所需的生成粒度，从而让模型能够根据当前正在编写的代码位置，自适应决策应该生成的代码粒度 决策准确率显著提升： Java语言：47%提升到56%Python语言：26%提升到44% 当前代码上下文 构建Prompt “幻觉”问题 模型生成 索引 会话管理 上下文感知 分码分析 问答管理 代码后处理 代码引用选择模型 身份鉴权提示词工程 服生成问答对话模型路由 务 端 代码补全模型专项任务模型研发问答模型 模 本地服 TopN代码引用相似代码当前代码上下文 IDE客户端 库内跨文件感知评测集中，准确率从22%提高到66.9% 构建Prompt 模型生成 身份鉴权提示词工程 服生成问答对话模型路由 务 端 代码补全模型专项任务模型研发问答模型 代码后处理 问答管理 分码分析 本地服 •通过感知本地工作空间中的源文件进行预处理，建立用户本地的向量化索引，基于本地工作流编排，完成多阶段任务 IDE客户端 检索结果合并及重排 企业知识库检索召回 发送请求 组装Prompt 大模型生成 库内检索增强本地向量检索召回 需求细化 代码库信息获取需求关键信息提取需求任务拆解 知识问答 本地RAG 向量数据库 •用户的代码都存在本地，保障用户代码安全和隐私 索引 会话管理 上下文感知 本地检索引擎 本地向量存储引擎 远程Embedding 本地工作流编排架构 企业级RAG：贴合企业及行业经验 企业管理 插件调用 企业管理后台 审计日志 洞察数据 知识库管理 成员管理 灵码远程服务 对话问答 代码补全 Prompt管理 OpenAPI IDE客户端 索引 会话管理 上下文感知 库内RAG 分码分析 问答管理 代码后处理 向量数据库 二轮召回重排 初步召回 数据分块 结构化解析 文件服务 本地服务 服务端 知识库管理服务 身份鉴权提示词工程 生成问答对话模型路由 企业级RAG 向量数据库 数据解析调度 问题理解 整理回答 代码/文档向量化 代码补全模型 专项任务模型 研发问答模型 Embedding 模型训练SFT 企业专属模型 模型 模型推理服务向量服务 LLM Embedding 检索引擎 向量存储 从理解一个文件到理解整个工程 在整个工程中 查询相关的代码实现 在整个工程中辅助生成相关业务代码 ChatGPT 海外Copilot产品 开源自建 通义灵码 境内无法顺畅访问 不支持用户及企业自有技术框架 缺少工程KnowHow，知易行难 有端到端的产品技术优势，提供低延时、高质量的代码服务 无法定制和调优，完全依靠用户的专业知识和技能进行prompt 不支持领域特定语言，不支持私有API以及开发规范 模型训练成本高，缺乏专业训练能力，无法定制和调优 企业私域数据语料RAG和SFT能力，满足企业个性化需求。中文语义理解能力表现更优秀 模型部署在境外 不支私有化建设 本地部署，算力成本高 超强的算力资源和模型能力：阿里云开源国内迄今为止最大的模型，在模型能力上有很好的优势 数据出境，存在数据安全合规风险 数据出境，存在数