端侧AI在手机场景中的落地与算力需求分析
1. 端侧AI的落地现状
- 苹果引领市场:苹果通过WWDC24推出的Apple Intelligence(苹果AI)展示了端侧AI的多样化应用,包括Siri升级、文字处理(校对、重写、总结等)和图像生成等功能。
- 端云混合模式:多数功能直接通过端侧运行,云端用于补充端侧算力不足的部分。例如,写作工具中的简单功能(校对、重写)可在无网络环境下使用,而复杂功能(总结、关键点提取)需接入网络。
- 模型选择:苹果AI使用约30亿参数的端侧模型AFM-on-device和更大型的云端模型AFM-server,根据用户需求动态选择云端或端侧模型。
2. 端侧AI对云端算力的依赖
- 端侧运行优势:成本、能耗、性能、隐私、安全及个性化优势推动AI处理向端侧转移。
- 算力制约:当前端侧SoC算力仍不足,难以支持云端大模型。例如,7B小模型的算力需求为14TFLOPS,而GPT-4的算力需求高达560TFLOPS。
- 端侧算力提升:高通、联发科等企业发布旗舰SoC(如天玑9400、骁龙8 Elite)提升端侧AI算力,但仍需云端支持复杂场景。
3. 手机AI算力需求测算
- 累计AI手机用户数:
- 全球智能手机年出货量12-14亿部,AI手机渗透率2024年16%,2028年54%,2030年80%。
- AI手机存量用户2024-2026年翻倍增长,2027-2030年增速放缓。
- 单日单机算力需求:
- 推理算力需求公式:
2 × 参数量 × token数。
- 简单功能(如校对)基于7B小模型,复杂功能(如总结)基于云端大模型(如GPT-4)。
- 端侧算力需求2024-2027年翻倍以上,2027-2030年高双位数增长。
- 云端算力需求2025/2026年折算为Blackwell GPU卡约12/103万张。
4. 未来展望
- 端侧算力落地路径:
- 硬件升级:端侧SoC持续提升算力,满足AI需求。
- 模型优化:端侧小模型针对主流功能优化,减轻算力负载。
- 端云协同:端侧AI对算力总需求拉动作用长期存在。云端算力机会点在于用户对推理速度的容忍度,部分场景仍需云端支持。
5. 风险提示
- AI手机出货量不及预期风险。
- 端侧软硬件技术发展不及预期风险。
- AI创新效果不及预期风险。