白雪茜：AI Agent在运营商业务智能的应用探讨

AIAgent在运营商业务智能网络的应用探讨 2024年3月 AI技术里程碑 AI产业发展浪潮 专用领域感知理解世界通用领域生成创造世界 StableDiffusion ChatGPT GPT4 Sora … 控制论 NLP CV 深度学习 GAN AI4S 文生图智能涌现多模态文生视频 通用助手 专家系统 AI发展跨越拐点，AGI时代即将到来 AI大事件里程碑 1956年 达特茅斯会议 1997年 深蓝战胜人类 2007年 视觉识别超过人类 2020年 蛋白质结构预测 2022年 GhatGPT 2023年 百模大战 2024年…Sora 数字语音时代 2G 移动高速数据时代 4G 万物智联时代 6G 20世纪 80年代 20世纪 90年代 21世纪 00年代 21世纪 10年代 21世纪 20年代 21世纪 30年代 网络演进需提供更好的通信质量和更丰富的业务形态 模拟语音时代 1G 数据业务时代 3G 万物互联时代 5G 下一代泛在实时通信网络核心特征 联合撰写发布单位： •中国移动研究院 •华为技术有限公司 •中兴通讯股份有限公司 •爱立信（中国）通信有限公司 •上海诺基亚贝尔股份有限公司 •维沃移动通信有限公司 •新讯数字科技（杭州）有限公司 •东方通信股份有限公司 驱动力 典型场景 关键能力 下一代泛在实时通信网络需结合业务智能进行全维度演进， 多模态智能交互、智能代理、数字人身份、多维连接等将为用户提供全新业务体验。 构建意图驱动的实时通信网络，让数智世界沟通身临其境、心有灵犀 智能泛在 交互泛在 URCN UbiquitousReal-time Communication Network 沉浸泛在 下一代泛在实时通信体验将发生本质变化，系统从实时通信进一步扩展到基于码号的运营商统一业务系统，实现“全球无障碍通信网络”理念。 沉浸(Immersive):轻量化AR眼镜广泛使用，解放双手；网络侧使能终端能力降功耗，终端开箱即用 网络代际演进：IMS/NewCallingURCN内涵扩展： 1）交互升级：单一通话语义/意图交互指令 2）架构升级：IMS+SIP新架构+新协议 3）边界升级：通话非通话的普惠AI助理 智能(Intelligence):人人一个个性化智能助理，越用越“懂你” 交互(Interactive):基于DC通道增强的实时多模态交互与媒体转换网络，终端组件插件化实现网络业务易扩展 场景一：通话中AI助理免唤醒，信息随心提示，所想即所得 马克，还有几 天就是元旦了，有没有想好去哪里度假？我们很久没有去三亚了，要不 我们去三亚吧 爱丽丝 可以啊，不 过我们要看一下1月份三亚是否可以下水，再计划一下行 程吧 马克 通话过程中，AI助理可以理解用户通话中的意图，发掘用户的潜在需求 AI助理可以感知主叫与被叫的意图 AI助理通过交互或历史日程获取用户信息、日程安排 AI助理通过其他API查询天气、旅行规划等信息 AI助理将需要实时呈现的信息在线推送给用户 对于需要离线确认的信息，推送至通话APP、系统日程应用 感知整合信息信息推送 三方工具API，如天气查询、搜索等 AI能力服务平台 媒体服务平台 传输网络 网络侧 场景二：通话中AI助理提供沉浸式体验 AI能力服务平台 传输网络 媒体服务平台 蛋糕店商家 AI助理通过双方的通话内容，理解用户意图 玛丽，请帮忙生成一个丽丝刚才说的蛋糕让她先看一下 AI助理基于用户意图生成图片 AI助理将渲染好的物体信息推送至用户双方设备 AI助理发送设计图纸、收货地址给商家，实现最终商业闭环 爸爸，我想要一个艾莎公主的蛋糕 三方工具API，商家下订单入口 感知生成推送 网络侧 快递到家 场景三：飞行模式，AI助理智能代答 AI助理通过交互、历史日程获取用户未来状态 基于接听行为、大网放音判断用户状态 AI助理通过对话感知主叫来电意图 AI助理针对主叫意图进行智能代答、对话 AI助理结合用户行程为主叫提供可行建议 AI助理推送代答纪要，以数字人、短信等方式进行提醒 AI助理将重要事件以待办事项推送给用户终端 感知代答推送 三方工具API 媒体服务平台 传输网络 快递员 推送 玛丽 飞行代答 网络侧 落地推送 AI能力服务平台 手机端/AR眼镜 LangChain的定义：Agent是由LLM自主选择一系列行动链执行。相比于chain本身通过硬编码决定代码执行逻辑，Agent将LLM用作reasoningengine以决定以何种顺序执行何种action。 https://python.langchain.com/docs/modules/agents/ 引入AI能力服务平台，为用户构建专属AI助理： •每个用户一个Agent实例； •Agent将获取的用户信息保存在向量数据库，并实时更新； •Agent利用LLM理解通话上下文和识别用户意图，基于用户信息进行答复或者调用工具帮助意图表达，调用三方API实现商业闭环； •Agent驱动数字人服务器向用户提供数字人服务； •Agent自我学习，更理解用户。 三方工具API，如天气查询、搜索、订购等 Prompt API调用 向量数据库 Input Action Memory PromptText 工具 LLM AI能力服务平台 数字人服务器 内置或多模态I/O 基于AIAgent和生成式大模型构建AI能力服务平台，使能业务智能 媒体服务平台 AIAgent支撑运营商业务智能的进一步思考 泛在实时通信领域知识获取，AIAgent的自我升华 RAG实时通信个性化数据获取 意图识别、多模态转换低延迟需求 意图识别准确度和生成内容的高质量要求 基于用户授权的意图识别 用户个人数据的管理 AI内容生成的安全性 谢谢！