一、交互型多模态大模型概述
交互型多模态大模型能够融合文本、音频、图像、视频等多种模态信息，实现实时、类人的理解和反馈，具备以下特点：
- 原生多模态： 跨模态端到端训练，无需将不同模态信息转换为单一模态进行处理，能够更好地理解用户意图和情绪状态。
- 快速响应： 响应速度极低，接近人类对话水平，并支持随时打断，实现流畅的交互体验。
- 情感表达： 回复富有情感，能够模仿人类的情绪状态，并通过语调、节奏和音量来表达相应的情绪，增强交互的真实感和沉浸感。
- 记忆： 能够回忆并联系此前“看”到的信息，而不是仅仅依靠当前输入，实现更智能的交互。
二、交互型多模态大模型进展
- 海外： OpenAI 和谷歌积极布局，分别推出 GPT-4o 和 Project Astra 等产品，推动交互型多模态大模型发展。
- 国内： 大模型多处于语音交互阶段，商汤智谱、智谱AI 等企业积极升级视频交互功能，例如商汤日日新5o 和智谱清言APP。
三、交互型多模态大模型应用爆发的原因
- 视觉为主： 视觉是人类获取外部信息的主要途径，多模态更符合人类感知的方式，能够更好地满足用户需求。
- 交互升级： 应用发展的核心是人机交互模式的升级，交互型多模态大模型能够推动人机交互向更简单、更自然的模式发展，降低 AI 使用门槛，促进 AI 技术渗透率提升。
四、交互型多模态大模型应用场景
- 数字智能：
- 教育： 提供个性化教学、语言学习、职业技能提升等服务，例如 GPT-4o 在 Khan Academy 和 Duolingo 中的应用。
- 编程： 辅助代码编写、调试和文档编写，例如 GitHub Copilot 和 GPT-4o 在代码优化方面的应用。
- 医疗健康： 提供智能导诊、健康顾问、情感支持、无障碍导航和远程监护等服务。
- 办公： 担当会议助手，记录并总结会议要点。
- 游戏： 辅助游戏研发，并驱动 AI NPC 成为游戏行业革新。
- 情感陪伴： 通过个性化虚拟人物，满足用户的社交聊天需求，例如 GPT-4o 在情感交互和场景理解方面的应用。
- 具身智能：
- 人形机器人： 提升机器人的交流、观察和任务完成能力，例如 Figure 01 机器人。
- 智能座舱： 实现基于先进大模型的智能语音助手和更自然的交互方式，例如理想汽车、蔚来等品牌的智能座舱。
- 智能家居： 使智能家电具备更高级的语音交互能力，例如海信星海中文大模型、TCL 超省电 AI 大数据模型等。
五、交互型多模态大模型未来形态
- 交互先行： 深度集成于端侧设备，特别是手机，并与手机 OS 深度融合，形成完整的智能生活圈。
- 商业模式： 作为聊天助手 APP、基础模型接入各类应用或超级入口。
六、相关标的梳理
- 交互型多模态大模型： 商汤-W、云从科技-UW
- 数字智能应用： 金山办公、科大讯飞、虹软科技、美图公司
- 具身智能应用： 海康威视、大华股份
- 算力： 寒武纪、软通动力、海光信息、浪潮信息、中科曙光、神州数码
