亚马逊云科技-郑予彬-生成式AI驱动AIOps的优化

生成式AI驱动AIOps的优化 郑予彬 资深开发者布道师亚马逊云科技 www.top100summit.com 讲师简介 请插入您的照片 郑予彬 资深开发者布道师亚马逊云科技 软件⼯程硕⼠，20年ICT⾏业和数字化转型实践积累。现任亚马逊云科技资深开发者布道师，致⼒于云原⽣、云安全、的技术研究和推⼴。18年世界500强企业的架构师经验积累，专注为⾦融、教育、制造以及新科技⾏业⽤户提供数据中⼼建设，软件定义数据中⼼等解决⽅案的咨询及技术落地。 “ ” www.top100summit.com www.top100summit.com 目录 •DevOps的发展和实践 •AIOps的机遇和挑战 •利⽤re：Invent推出的AI新技术全⾯实现AIOps •AIOps的未来展望 现代化的DevOps Devs: Lessbuilding/moreinnovationLowcode/nocode Lift&Shift Ops: Reducenoise Closethegap-DevOpsProactivemonitoring www.top100summit.com 现代化的DevOps 需要等待数天/数周才能获得基础资源 软件是临时⼿动部署的 需要为单个应⽤程序 临时配置安全机制 缺乏⽣产中运⾏中可 视性 团队和组织的⼯具不 ⼀致 6 www.top100summit.com 可按需配置基础设施，并在⼏分钟内完成部署 通过持续交付管道实现软件交付⾃动化 将安全最佳实践融⼊每个应⽤程序和服务中 监控数据完整植⼊应 ⽤全架构 对⼯具和最佳实践标 准化 AI参与的DevOps 开发/编写代码 代码审核/代码安全 应⽤和代码的性能优化监控/可靠性 2023年，为了使DevOps数据具有可操作性，40%的企业采用AI/ML来提高效率、远程协作和执行力。 www.top100summit.com 利用生成式AI获得超能力 www.top100summit.com www.top100summit.com 利用基础模型构建应用程序的工具 使用基础模型进行构建的平台 用于基础模型训练和推理的基础设施 利⽤基础模型构建应⽤程序的⼯具 AmazonQ AmazonQuickSight中的AmazonQ AmazonConnect中的AmazonQ AmazonCodeWhisperer 使⽤基础模型进⾏构建的平台 AmazonBedrock Guardrails代理⾃定义能⼒ ⽤于基础模型训练和推理的基础设施 GPU Trainium Inferentia SageMaker www.top100summit.com UltraClustersEFA EC2容量块 Nitro Neuron 利⽤基础模型构建应⽤程序的⼯具 AmazonQ AmazonQuickSight中的AmazonQ AmazonConnect中的AmazonQ AmazonCodeWhisperer 使⽤基础模型进⾏构建的平台 AmazonBedrock Guardrails代理⾃定义能⼒ ⽤于基础模型训练和推理的基础设施 GPU Trainium Inferentia SageMaker www.top100summit.com UltraClustersEFA EC2容量块 Nitro Neuron www.top100summit.com 通过⼤语⾔模型和其他基础模型 构建和扩展⽣成式AI应⽤程序的最简单⽅法 可从AI21Labs、Amazon、Anthropic、Cohere、Meta和StabilityAI等⾏业领先的基础模型中选择最适合模型 跨组织系统和数据源执⾏多步骤任务企业级安全和隐私 广泛的模型选择 Jurassic Claude Command+EmbedLlama2 StableDiffusion AmazonTitan 上下⽂问答、总结、 释义 总结、复杂推理、写作、编码 ⽂本⽣成、搜索、分类 问答和阅读理解 ⾼品质的图像 ⽂本摘要、⽣成、问答 、搜索 Claude2.1 200K令牌上下文窗口 2x减少模型幻觉率 25%Bedrock的成本节省 Llama270B 支持大规模任务, 针对聊天用例进行了调整 NEWNEW www.top100summit.com TITANTEXTEMBEDDINGS 将文本转换为向量 TITANTEXTLITE 总结、文案、微调 TITANTEXTEXPRESS 开放式文本生成，对话式聊天，RAG支持 TITANMULTIMODALEMBEDDINGS 搜索、推荐、个性化 TITANIMAGEGENERATOR 生成逼真的、工作室品质的图像 NEW NEW NEW INPREVIEW www.top100summit.com 全新 www.top100summit.com 跨公司系统和数据源执⾏多步骤任务 正式发布 只需点击⼏下，⽣成式AI应⽤程序即可快速开始构建智能的进⾏任务分解和编排并执⾏API调⽤ 安全地访问和检索公司数据 www.top100summit.com 1 2 3 请求 AmazonBedrockAgent FM ⽣成⼀系列步骤所需信息 要调⽤的API及何 时调⽤他们 FM 执行计划 完成任务 全新 企业级安全和隐私 根据您负责任的AI策略轻松配置有害内容过滤；将Guardrails应⽤于任何基础模型或代理； 编辑基础模型响应中的个⼈识别（PII）信息（即将推出） www.top100summit.com 现已推出预览版 利⽤基础模型构建应⽤程序的⼯具 AmazonQ AmazonQuickSight中的AmazonQ AmazonConnect中的AmazonQ AmazonCodeWhisperer 使⽤基础模型进⾏构建的平台 AmazonBedrock Guardrails代理⾃定义能⼒ ⽤于基础模型训练和推理的基础设施 GPU Trainium Inferentia SageMaker www.top100summit.com UltraClustersEFA EC2容量块 Nitro Neuron www.top100summit.com 代码构建流程 开发审核部署观测优化 AI用于代码开发 如何编写 -提供框架、库、API等辅助开发 加速编写 -提⾼编程效率 提⾼代码质量 -提供最佳实践,改进代码质量 www.top100summit.com www.top100summit.com AI用于代码开发 新的增强功能 支持基础设施即代码(IaC) CloudFormation（YAML、JSON）、AmazonCDK（TypeScript 、Python）和HashicorpTerraform（HCL） 人工智能驱动型代码修复 根据内部代码存储库生成代码建议（预览版） ⽣成包含内部库、API、包、类和⽅法的实时建议 安全地连接内部代码存储库，以创建独⽴于其他客户以及 ⽀持CodeWhisperer的LLM的⾃定义项 完全控制哪些开发⼈员有权访问⾃定义项 www.top100summit.com AI观测--生产力仪表盘 轻松跟踪使用活动趋势 使用代码行数和CodeWhisperer生成的代码占总代码的百分比等指标来衡量生产力影响。 提供CodeWhispererProfessionalTier AI用于代码审核和观测 AmazonCodeGuruReviewer AmazonCodeGuruProfiler 开发部署审核观测优化 www.top100summit.com 内置代码审查，提供可⾏建议 检测并优化⾼成本代码⾏ 轻松确定⽣产环境中的性能和成本改进措施 www.top100summit.com AI用于观测 1 监测数据快速增长 2 3 监控⾏为激增‒警报创建,仪表展⽰主动监控阈值和应⽤趋势 www.top100summit.com Application&infrastructuremonitoring (metrics,logs,traces) AmazonCloudWatch (vended&custommetrics) AWSCloudTrail RDSPerformanceInsights 云中标准工作负载监控 AmazonEC2-basedapplications Serverlessapplications AmazonRDS Operations OpsCenter Automatedactions ChatOps PagerDuty OpsGenie Slack Dashboards&alarms AmazonCloudWatchdashboard AmazonCloudWatchalarms AmazonEventBridge (notification) AmazonSNS (notification) www.top100summit.com Application&infrastructuremonitoring (metrics,logs,traces) AmazonManagedServiceforPrometheus AmazonCloudWatchContainerInsights AWSX-Ray AWSCloudTrail RDSPerformanceinsights AIOps (anomalydetection,augmentedinsights) AmazonCloudWatchanomalydetection AmazonDevOpsGuru AWSX-Ray insights AmazonEKS Serverlessapplications AmazonRDS Dashboards&alarms AmazonCloudWatchdashboard AmazonCloudWatchalarms AmazonEventBridge (notification) AmazonSNS (notification) Operations OpsCenter Automatedactions ChatOps PagerDuty OpsGenie Slack AI用于云中标准工作负载监控 AI用于优化和提升效率 全新 专为业务量⾝定制的、⽣成式⼈⼯智能⼯作助⼿ 现已推出预览版 www.top100summit.com 提供交互式答案、解决 问题、⽣成内容并采取 ⾏动 了解组织信息、代 码与系统 根据⾓⾊和权限进 ⾏个性化交互 提供安全与隐私保护 www.top100summit.com 解读代码逻辑 帮助开发⼈员完成⽇常的软件开发任务。只需点击⼏下，就能从问题中的⼀个想法转变为经过完整测试、准备合并、运⾏的应⽤代码，并且可以使⽤⾃然语⾔输⼊。 www.top100summit.com www.top100summit.com www.top100summit.com 技术专家 安全、私密地为业务问题提供快速、准确且相关的答案 连接到40多种流⾏的数据源，包括S3、Salesforce、GoogleDrive、Microsoft365、ServiceNow、Gmail、Slack、Atlassian和Zendesk 尊重现有的访问控制-仅返回根据⾓⾊授权可以查看的信息 www.top100summit.com www.top100summit.com 技术专家 业务专家 通过交谈，探索新的亚马逊云科技功能、学习不熟悉的技术并构建解决⽅案 协调在亚马逊云科技上排除故障、构建新功能和升级语⾔ www.top100summit.com