黄金-趣丸科技在运维 AI Agent 的探索与实践

趣丸科技在运维AIAgent上的探索与实践 黄金基础架构负责人 01大模型与Agent概述 目02智能运维Agent的探索与实践 contents 录03智能运维Agent的应用场景 04未来展望 PART01 大模型与Agent概述 大语言模型 什么是大语言模型 大型语言模型（LLM）是基于大量数据进行预训练的超大型深度学习模型。LLM是一种类似人脑特征的深度学习算法，LLM中的“Transformer”网络本质上就像一个巨大的、在海量数据上训练的大脑关联区。 提示工程 提示工程是指导生成式人工智能（生成式人工智能）解决方案生成所需输出的过程。 HowLLMsareandarenotlikethebrain AIAgent解密 什么是Agent Agent可以理解为某种能自主理解、规划决策、执行复杂任务的智能体，它能够感知其环境，通过自己的决策和行动来改变环境，并通过学习和适应来提高其性能。 简单理解：Agent=Planning+Memory+ToolsLLM是大脑，而Agent就是完整的人 《大语言模型（LLM）支持的自主代理》 五层基石理论 •Models，也就是我们熟悉的调用大模型API。 •PromptTemplates，在提示词中引入变量以适应用户输入的提示模版。 •Chains，对模型的链式调用，以上一个输出为下一个输入的一部分。 •Agent，能自主执行链式调用，以及访问外部工具。 •Multi-Agent，多个Agent共享一部分记忆，自主分工相互协作。 PART02 智能运维Agent的探索与实践 智能运维探索历程与实践 •引入Ai能力解决微服务落地带来的复杂性 2022/09 ChatOps创新•尝试在根因定位、资源交 付、故障总结等场景落地 •可观测能力的不断增强，产生海量数据，人工分析处理的负担加重 2022/06AIOps 打造高效运维 •采用基于AI能力的服务机 器人 •运用聊天的方式，有效执行运维操作 •实时获取并处理运维反馈 •“知了”多Agent协作数字人，运维通用人工智能。 2023/03 大模型革命 智能运维探索历程与实践 什么是“知了” 1.面向运维领域的通用人工智能体 2.能达到T2-2职级的运维领域的数字人 3.基于多Agent协作框架的大模型应用 趣丸科技Agent架构 智能运维探索历程与实践 智能运维探索历程与实践 常见多Agent实现模式 由权威Agent控制下一步如何进行。 权威Agent了解每一个Agent的领域范围。 由Agent自行控制下一步如何进行，是否需要协作，需要哪个Agent协作。 每一个Agent都了解其他所有Agent的领域范围。 智能运维探索历程与实践 阶段一 阶段二 阶段三 用户决定使用哪个Agent路由Agent决定使用哪个Agent主持Agent协调多个Agent工作 智能运维探索历程与实践 双思维链架构 智能运维探索历程与实践 SessionStateController（SSC)：控制用户会话状态，控制长短期会话记忆。控制会话流程与生命周期。 HostAgent:决策Agent，判断当前会话走向，输出决策（agentorcmd）。 AgentAction：选择Agent回答用户问题，并将问题反馈给。 CMDAction:命令行动，不需要DomainAgent参与。 DomainAgents回答用户会话，控制领域Agent生命周期。 智能运维探索历程与实践 模拟问题解决路径 智能运维实践 1.给模型询问的机会 2.让模型自我矫正 3.AutoFewShot>FewShot>ZeroShot 智能运维实践 让大模型主动询问用户，可以使大模型输出更加信息丰富、更密集、更符合事实的文字 智能运维实践 Question:Questionhere Review:Vqalidateyourrelationshipsandpropertiesbasedonbackgroundknowledgeandschemes. Answer:CypherQLhere.Mustensureit'sconciseenough.Ifyoucannotgenerateacypherquery, return"notacypher". Error:Theresultofyourcypherquery(ifcypherisinvalid). llmgeneratecontext executionorevaluation output Witherrorinfo errorinfo 智能运维实践 ZeroShot 通用性、鲁棒性更好结果准确性差 Question:Questionhere FewShot 结果准确性好 通用性、鲁棒性略差 AutoFewShot 程序自动根据数据生成样例 Review:Vqalidateyourrelationshipsandpropertiesbasedonbackgroundknowledgeandschemes. Answer:CypherQLhere.Mustensureit'sconciseenough.Ifyoucannot generateacypherquery,return"notacypher". Error:Theresultofyourcypherquery(ifcypherisinvalid). --- SchemaofNeo4j: [schema] Exampleofeachnodeattribute: [nodes] PART03 智能运维Agent的应用场景 智能运维Agent的应用场景 异常定位 智能运维Agent的应用场景 知识库问答 智能运维Agent的应用场景 CMDB查询 智能运维Agent的应用场景 辅助提单 GOPS全球运维大会2024·深圳站 智能运维Agent的应用场景 故障跟进与报告生成 智能运维Agent的应用场景 其他场景 配置解读代码生成 PART04 未来展望 反馈错误->沉淀知识库->运用经验 自主纠错 走向个人助理 每个人都有自己的背景标签、风格喜好 大模型从对话历史学习到用户背景，可以实现用用户更容易接受的方式同用户对话， 更能“善解人意”。 Thanks 高效运维社区DevOps时代 荣誉出品 THANKS 感谢大家观看