国君电子|AutoGLM解放用户双手,AI Agent开启新篇章

核心观点与关键数据

AutoGLM通过OCR理解UI组件信息，结合链式思维训练，实现精准理解用户指令并自动驾驶完成App操作，为手机AI Agent提供技术范式。其技术原理基于AutoWebGLM，通过OCR解析页面截图转化为HTML，帮助LLM理解UI功能及位置，并利用GPT-4的链式思维生成QA问答数据集进行训练。

技术实现与局限性

AutoGLM已可自动执行微信、淘宝等常用App操作，但需明确指令，个性化场景（如“订机票”）需与手机厂商合作获取用户信息权限。目前尚未适配滴滴、京东等App，跨应用操作有待改善。

商业化前景与合作

AutoGLM有望加速手机厂商AI Agent落地，驱动AI手机换机潮。智谱与荣耀成立AI大模型技术联合实验室，合作推出具备自动驾驶功能的AI Agent YOYO，展示语音指令满足用户需求，有望提升AI手机渗透率。

风险提示

主要风险包括第三方App适配进度不及预期，以及AI Agent交互体验不及预期。

文章来源

本文摘自《AutoGLM解放用户双手，AI Agent开启新篇章》（2024年10月27日），作者舒迪、文紫妍、段笑南。