360-张锋-智能纽带：AI Agent在解决大模型 应用难题中的关键作用

智能纽带：AIAgent在解决大模型 应用难题中的关键作用 张锋奇虎360AI研究院技术总监 www.top100summit.com www.top100summit.com “ 讲师简介 请插入您的照片 张锋 奇虎360AI研究院技术总监 360人工智能研究院认知引擎负责人 天津大学硕士毕业后，任职华为技术有限公司，先后从事计费产品的研发、设计及项目管理工作，主持参与参数AILab的建设，负责大数据平台、推荐平台和建模平台的建设和实施。其中推荐平台在四川电信落地后，显著提升了用户观看时长，大数据平台作为标品，落地数百个据点，成为部门主要现金流来源 后续加入360公司，深耕于人工智能在互联网、物联网、数字化等领域的落地，带领团队主导360大模型的数据、训练、推理、应用等落地工作，以及建模平台、推荐平台、知识图谱平台等产品开发、设计及管理工作，相关成果落地于安全大数据、互联网、企业数字化、AIoT等360集团全量业务场景，支持千万级硬件设备，服务亿级用户 ” www.top100summit.com 目录 •LLM落地应用-长板和短板，及当前解决方案 •AIAgent的整体框架 •AIAgent的应用案例 www.top100summit.com LLM落地应用-长板和短板 及当前最优解决方案 AGI发展回顾 2023 AGI被认为是人工智能的更高层次，它可以实现自我学习、自我改进、自我调整，解决任何问题而不需要人为干预。 1997 2016 2022 未来 1950 图灵机&图灵测试的提出 深蓝战胜卡斯帕罗夫 AlphaGo 战胜李世石 ChatGPT 发布 AGI＆More… www.top100summit.com ChatGPT的探索，被认为是强人工智能拐点的到来、是超级人工智能雏形，即：LLMtoAGI www.top100summit.com Gemini：再强大的模型，也不万能 Gemini演示中并没有直接采用Agent，但是实际流程并没有两样 我们以为的Gemini Gemini：你在玩石头、剪刀、布。 实际的Gemini 问题1：告诉你看到什么 Gemini：我看到一个人的右手。手掌张开，手指分开Gemini：一个人敲木门 Gemini：我看到一只手伸出两个手指，这是数字二问题2：你觉得我在做什么？提醒：这是一个游戏。Gemini：你在玩石头、剪刀、布。 www.top100summit.com 7 大模型应用的能力长板——搜、读、写、画 1 写作 2 绘画 AI生产力 3 搜索 4 阅读 Jasper，CopyAI，Quillbot CanvaAI，ClipDrop，Pika NewBing，Perplexity，You，Phind ChatDoc，AskPDF 你可以轻易地让任何一个GPT生成一首诗、计算一道奥数题。 然而工作中你不需要作诗，也不需要算奥数题。工作中面对是写不完的方案，做不完的报告，和看不完的邮件 www.top100summit.com 8 LLM应用的能力短板——幻觉、知识/记忆、交互 1 生成的幻觉问题 商业场景使用对内容生成质量容错率极低，只通过简单知识问答，无法生成满意的内容和答案 2 记忆和行业知识问题 参数再多、再强的模型，都无法也无法深入的了解一个 行业。“海莲花常用的攻击方式是什么？” 3 提示词工程难度问题 面对复杂问题，我们发现除了IT类员工，绝大部份企业员工没有兴趣去学习怎么写提示词 4 与现有信息化系统的协同问题 企业不可能将现有信息化系统推倒重来 大家的共同诉求是大模型能增强、协同、而非取代 我们需要一个工具平台，让大模型“扬长避短”，实现大模型实际落地的“最后一公里” www.top100summit.com 9 LLM的落地工具：长期记忆、接口对齐、任务规划 堆提示词技巧 任务规划 长期记忆 复杂任务规划调度 接口对齐 存储 外部上下文和行业知识 对接外部系统 www.top100summit.com 10 解决靠堆参数、堆提示词无法解决的复杂推理等问题 领域任务 特定复杂任务：多工具使用 开放复杂任务：自主性协同 汇率问题，调用工具获取实时数据广州国庆七日游的亲子游计划，工具使用+多步执行自主规划和决策的树状复杂问题，路径优解 工具可以有效拓展LLM的能力边界 www.top100summit.com 比照行业发展，我们做的就是AIAgent 用LLM作为大脑或这些智体控制者的主要组成部分，并通过多模态感知和工具利用等策略扩展其感知和行动空 间 www.top100summit.com AIAgent的整体架构 www.top100summit.com AIAgent的架构：一套以LLM作为核心控制器的应用开发工具 以LLM为核心控制器，结合Planning、Tools工具、Memory记忆等组件，解决实时数据获取、复杂任务等各类应用落地问题。 long-termMemory short-termMemory SensoryMemory Agent协作 搜索 任务分解 Memory （记忆体） 资讯 LLM Planning （任务规划） Agents Tools （工具箱） 天气 Tools 汇率 LLM辅助规划 Memory 规划调用LLM LLM（大脑） 代码执行 … … FunctionCall Prompt ReAct ①LLM大脑：核心控制器。模型一键适配，Prompt模版降低写提示门槛。 ⒸPlanning：将任务拆解，流程具象化，就像工厂流水线一样，在这个流水线中，可以放置不同的工具完全任务的处理。 ⒸTools工具：让Agent学会调用各种外部工具，涵盖搜索、文档检索、数据分析、代码编写、教育、投资、出行、娱乐等各种应用。 ④Memory记忆：获取、存储、保留和后续检索信息的过程。 包括知识库使用、长短期记忆。使用外部向量存储和快速检索。 *本架构与经典Agent架构略有区别 www.top100summit.com AIAgent：Planning规划能力，即任务分解和编排能力 Planning任务规划能力，实现方法主要两类： 人类参与：复杂任务，需要拆解为更小、更易于处理的子目标，需要人类进行辅助规划、结果校准。 自动编排：简单任务，通过PromptEngine来引导LLM实现规划，主要方式ReAct，FunctionCalling AIAgent：ReAct，增强LLM的推理和执行能力 ReAct框架，发挥LLM推理和执行能力的协同作用，通过问题分解+依靠外部能力来解决问题。 ReAct框架，在可解释性和可信赖性等方面，优于其他先进的基线。 根据输入规划后续及流程何时终止 思考 观察 行动 www.top100summit.com 整理返回结果辅助后续流程 整理参数及调用 API www.top100summit.com Observation获取结果 Assistant 生成最终答案 AIAgent：FunctionCall 可以让开发者在调用语言模型时，通过用户提问和描述函数让模型智能地输出一个包含调用这些函数所需参数的JSON对象。 Assistan t选择调用函数，例如： API：CallSearch Param：北京要哪些景点？ Action 调用对应的ToolsCallSearch(“北京要哪些景点？”) 这种功能可以更可靠地将模型的能力与外部工具和API进行连接。 SystemP工具ro定m义pt User 用P户ro提m问，p例t如：北京要哪些景点？ www.top100summit.com AIAgent：Memory记忆，是LLM的内存和硬盘 Firstofall，人类擅长拥有不同类型记忆能力，而LLM很难理解新概念或者少量新数据。 1.感知记忆可以作为LLM或者多模态的Embedding输入表示（包括文本、图像等）。 2.短期记忆STM使用In-contextLearning，受到Transformer有限SeqLen长度限制（2Kto8K） 3.长期记忆LTM借助外部向量存储，Agent可以快速查询、快速检索，从而进行访问。 Embedding上下文学习 向量数据库 www.top100summit.com AIAgent：Tools，学会使用工具是LLM进化的分水岭 Tools是LLM的武器库，学会使用工具，大模型获得了行动能力，打破大模型的应用边界。 通用搜索 地图搜索 图片搜索 新闻搜索 新闻搜索 Onebox搜索 股票 汇率 天气 热搜 百科 热搜 SQLDB SparkDB SQLlite Redis Cassandra MongoDB Office Jira Confulence Email AirTable Zapier 搜索增强实时信息数据库办公 JSON CSV PDF Word PPT Excel Shell Python PowerShell GO JS BAT PowerBI CRM ERP Oauth EHR IM 格式代码 业务系统 www.top100summit.com AIAgent的未来 AIAgent更多给我们呈现了一种AGI的可能性，将LLM的能力延伸到更复杂的任务和更多的业务领域。 多模态的Agent：多元化的交互感知（图像、视频、 表单、代码）是Agent智能化方向之一。 万物皆可Agent：垂类Agent，通过分布式决策，实现自组织自决策 从LLM中来，到LLM中去：会有更多专业LLM服务 Agent www.top100summit.com AIAgent应用案例 www.top100summit.com 1.业界进展 GPTs：智能体的新纪元，普通人的AI 以模型能力为核心，支持记忆和外部API，在无需编码的情况下，可以构建个性化智能体，实现全民AI。 www.top100summit.com TOC:浏览器、搜索、桌面Copilot化 1.业界进展 微软Copilot：在TOC和TOB同时落地Agent框架 MicrosoftCopilotEverything TOB:Graph、Office365、Connector www.top100summit.com 1.业界进展 微软Copilot：在TOC和TOB同时落地Agent框架 Copilot构建示例-查账单 仅大模型：无法获得个人预算账单 解法：创造Flow“对话式插件卡” Action类别 连接到数据源 Copilot：即Agent能力打通 发布“个人账单总结”对话式插件 从SAP里读某一行 配置Action www.top100summit.com 1.业界进展 GenerativeAgents：智能体的互动涌现出复杂行为 斯坦福“西部世界”虚拟小镇，在一个Smallville沙盒世界里住着25个小人(GPTagents)，互相自由沟通交互，出现了一系列的人类社会行为(信息传播、关系记忆和协作)。 www.top100summit.com 1.业界进展 AutomaticAgents：任务规划的早期探索者 给Agents一个/多个目标，独立地执行这些目标。这些应用程序结合了工具使用和长期内存。典型的有AutoGPT，BabyAGI。 AutoGPT以LLM作为主控制器来建立AIAgents，作者提供了很多API代 码来解析数据格式，帮助AIAgents更好地理解和处