端侧大模型现状、挑战与ROCKAI的实践
1. 端侧大模型的现状与挑战
1.1 大模型时代的端侧需求
- 行业视角：生成式AI预计2035年为全球贡献近90万亿元经济价值，其中中国占比超40%；到2028年，全球大模型市场规模预计达1095亿美元，复合增长率约47.12%。
- 终端设备视角：2024年中国超50%终端设备具备AI算力基础，至2027年将接近80%；瑞银预计2027年生成式AI智能手机出货量达5.83亿部，收入达5130亿美元。
1.2 狭义端侧：以推理为核心
- 狭义端侧模型的核心是为用户提供大语言模型推理服务，软硬件协同优化实现本地化应用，训练和微调非端侧任务。
1.3 现有大模型在端侧应用的局限性
- 算力要求高，数据质量要求高。
- 复杂且参数量巨大，开发成本高，限制创新。
- 可解释性差，机器幻觉严重。
- 能耗高，环境影响不可持续。
1.4 目前端侧大模型的主流技术方法
- Transformer架构为主流，但存在上述局限性。
2. ROCKAI的端侧大模型实践
2.1 ROCKAI大模型发展历程
- Yan架构通用大模型：国内首个非Attention机制大模型，行业领先的非Transformer架构大模型。
2.2 实践视角：Transformer架构的缺陷
- 算力与数据：高算力需求、高质量数据集不足导致性能受限。
- 可解释性：内部原理复杂，缺乏直观可解释性，机器幻觉严重。
- 能耗与环境影响：大规模训练消耗大量电能，缺乏可持续性。
2.3 专家观点
- 图灵奖获得者Yoshua Bengio、Aidan Gomez、Yann LeCun等均认为Transformer架构存在根本性缺陷，需探索新方法。
- 专家指出Transformer架构存在性能浪费、机器幻觉、缺乏常识等问题。
2.4 ROCKAI的思考
- Transformer架构无法引领通用人工智能（AGI）。
- 真正的智能体需支持“理解表达、选择遗忘、持续学习”三种基础能力。
- 数据需来源于日常工作生活，而非刻意采集。
2.5 Yan架构大模型原理
- 核心原理：替换Attention机制，减少不必要的参数参与训练与推理。
- 类脑激活机制：采用MCSD（Multi-Channel Slope And Decay）模块，实现仿生神经元驱动的选择算法。
2.6 Yan架构大模型原理：MCSD
- MCSD模块通过斜率变换和指数衰减提取输入数据中的当前和历史信息，进行位置感知的多通道特征融合。
2.7 Yan架构大模型原理：类脑激活机制
2.8 端到端的多模态Yan架构大模型
2.9 Yan架构大模型效果
- 性能优势：相同参数量下，训练效率提升7倍，推理吞吐提升5倍，记忆能力提升3倍，支持CPU无损运行，幻觉表达更低。
2.10 Yan架构大模型设计特点
- 低成本高性能：优化算法与结构设计，显著提升效率。
- 消费级终端无损部署：可安装于树莓派等低功耗平台。
- 类人设计：类人学习、感知、交互能力。
2.11 在树莓派运行自然语言大模型
- 树莓派中运行自然语言大模型，Cortex系列芯片广泛应用。
2.12 在中低端手机运行多模态大模型
- Yan1.2多模态大模型离线部署在手机中流畅运行，每秒可达20+tokens输出。
2.13 在小型机器人中运行多模态大模型
- 基于树莓派5离线部署Yan1.2多模态大模型，实现语音交互、环境感知、自我学习、动作控制等功能。
2.14 训练与推理过程对比
2.15 端侧直接训练演示
3. 未来趋势
3.1 ROCKAI思考的三层创新
- 应用技术创新：改进、优化或整合现有技术。
- 基础架构创新：模型框架、训练方法等创新。
- 基础理论创新：推动底层理论变革。
3.2 亟需的创新：反向传播算法
- 正在被挑战的反向传播算法，如Difference Target Propagation、TheHsicBottleneck等。
3.3 端侧，不止于此
3.4 创新之路
- 第一阶段：创新性基础架构（Yan架构大模型）。
- 自适应智能进化：同步学习，构建持续进化的智慧生态。
