郑予彬-生成式AI提升开发者效能

中国DevOps社区峰会2024·上海 生成式AI提升开发者效能 郑予彬开发者布道师亚马逊云科技 目录 1 2 当前生成式人工智能的趋势和挑战 技术革新与开发思维的变革 3生成式人工智能赋能开发全流程 4生成式人工智能对开发模式的影响 1 PART01 当前生成式人工智能的趋势和挑战 如何对我的业务产生影响? 怎么用在生成中? 这些模型都有哪些特性? 什么是基础模型? 什么是生成式AI? 安全吗? 我需要成为prompt的工程师吗? 如何选择模型? 我应该从哪里开始? 什么是大语言模型? 如何落地? 如何降低成本? 如何扩展? 哪个模型适合这个应用场景? 如何控制风险? 我应该训练自己的模型吗? 哪种自定义手段适合我? 如何确定项目的优先次序? 怎么在行业中创新? 7 人工智能政策和标准 Agents 多种模式 多种模型 2 PART02 技术革新与开发思维变革 全流程 自动化 智能化 模型选择 应用集成和调用能力 自定义能力 计算能力 预训练能力 推理能力 模型部署能力和推理架构兼容性 分布式系统和并行计算 接口与适配的SDK 弹性计算和有效成本数据传输和同步 用于人工智能应用构建的工具和服务 全流程 自动化 智能化 用于调用大语言模型和基础模型构建应用的平台 模型选择 应用集成和调用能力 自定义能力 计算能力 预训练能力 推理能力 模型部署能力和推理架构兼容性 分布式系统和并行计算 接口与适配的SDK 弹性计算和有效成本数据传输和同步 利用云环境进行软件开发 •计算资源的可扩展性 •数据存储和管理 •协作与共享 •成本优化 •安全与合规 •持续集成和部署 •最新技术支持 用于人工智能应用构建的工具和服务 全流程 自动化 智能化 模型选择 应用集成和调用能力 自定义能力 用于推理和预训练的计算架构 计算能力 预训练能力 推理能力 模型部署能力和推理架构兼容性 分布式系统和并行计算 接口与适配的SDK 弹性计算和有效成本数据传输和同步 模型评估 Playground 直接在控制台的 Playground上试用不同的模型，比较成本、延时等 自动评估 使用通用数据集对于典型 任务如分类，生成等自动进行评估，评价指标包括准确性、有害性和鲁棒性 利用自己的数据集合进行定制的评估 使用统一的评价框架来组织自己的团队进行在自己的数据集上评估。 采用云供应商资源专业评估 如果您内部没有人力或专业知识，可以利用云供应商专家团队进行评估 在定义使用场景并识别FM基础效果时使playground 在迭代用例或模型时使用自动评估 当开始测试第一个原型应用或准备试运行时，带上自己的团队进行评估 云供应商专业托管团队，为应用程序的生产发布提供专业的基础平台 基础模型 利用自己的数据定制专属模型 检索增强生成微调 定制自己的数据 继续预训练 生成式AI的Agent 让生成式AI应用程序利用自己的系统和数据源执行多步骤任务 借助Agent将复杂任务拆解为分布操作 执行工具操作或搜索知识库 观察结果 直至得�最终答案 思考下一步 保护数据安全和隐私 不使用任何客户数据来训练底层模型 所有数据在传输和存储时均进行加密 用于训练自定义模型的数据保留在您的虚拟私有云中 支持多种标准，包括GDPR和HIPAA 全流程 自动化 智能化 用于调用大语言模型和基础模型构建应用的平台 模型选择 应用集成和调用能力 自定义能力 用于推理和预训练的计算架构 计算能力 预训练能力 推理能力 模型部署能力和推理架构兼容性 分布式系统和并行计算 接口与适配的SDK 弹性计算和有效成本数据传输和同步 开发者是核心生产力 提升开发者满意度和幸福感 优化开发体验，提高开发效率 •优化开发工具链 •提升生产力 •改善可维护性 •简化工作流程 •持续改进和创新 生成式人工智能在多个方面增强开发者工具并提升开发体验 满意度：提供智能代码建议、自动补全和代码生成等功能,减轻开发人员的工作负担,降低认知负荷,从而提高开发人员的满意度和幸福感 开发速度：实现的自动化和辅助功能,有助于更快地完成编码、调试和重构等任务,从而提高整体开发速度和效率。 代码质量：自动检测并发现代码中的错误和潜在问题,建议优化方案,并生成高质量的文档和注释,有助于提高代码质量和可维护性 安全性：可以被训练用于检测安全漏洞和不当编码实践,为开发 人员提供安全建议,从而提高应用程序的安全性。 入门速度：对于新加入项目的开发人员,生成式AI可以生成代码解释和上下文文档,帮助他们更快地熟悉现有代码库,缩短入门时间 技术债务：识别代码库中的技术债务,提出重构建议,并协助自动 化重构过程,帮助开发团队逐步消化 3 PART03 生成式人工智能的开发场景 生成式人工智能参与开发全流程 运行维护 •对生产中的更新和补丁进行修改 •分析业务运营以促进改进 学习理解 •找到准确、具体的技术指导 •并索引到相关文档和代码实例 监控测试 •确保应用或云基础设施的安全和性 能满足业务需求 •结合反馈跟踪和诊断错误。. ProductManager DevOps/SREArchitect 计划设计 •调查，评估,和制定一个目标明确且可执行项目计划。 •设计出符合业务目标，满足技 SDET/TesterDesigner 术需求的应用。 Developer 安全审查 •代码错误及故障判断 •符合编码合规 •安全扫描 代码开发 理解业务目标，生成代码,交付管道,数据管道。 人工智能工具已经就绪 AmazonManagementConsole AmazonDocumentation AmazonConsoleMobileApp IDEs AmazonCodeCatalyst SlackandTeams(viaAWSChatbot) 生成式AI轻松实现安全左移 writescode inIDE InstallExtension EnableAutoScan andfixfindings Pushthecode 开发者源代码AI代码助手已修复的代码库GithubRepo 语言版本的快速升级 构建、测试 (Java8) 使用知识库 构建、测试 (Java17) 错误修复 KnowledgeDB 通过自然语言生成新功能 自动文档生成 4 PART04 生成式人工智能对未来开发模式的影响 利用生成式AI继续提高开发效能 •探索尝试新的技术和方法 •警惕过度依赖 •避免技术和方法论的锁定,以保证随时调整创新的方向. •基础架构保持与第三方生成式AI集成的能力. •提供广泛的服务以确保长期灵活性和商业价值 •生成式AI是生成的助力不是颠覆. •根据具体的业务场景也需求制定策略和方案，以及选择合适的工具 •评估和权衡自主开发和使用商业服务 •获得并理解开发者意见和反馈. •为开发配置合适的工具，为开发者赋能. THANKS！