deepmind专家分享大模型进展20240812

核心观点与关键数据

技术发展现状与趋势

• Agent 技术落地时间：类似 Devin 的 agent 技术，距离第一个 use case 落地可能需要 2-3 年，目前正向此方向发展。
• GPT-5 发布情况：预计今年年底不会发布 GPT-5，即使发布也只会是较小进步，可能包括更实时化、更大的 context window、更低的价格和更好的问题回答能力。
• 大模型颠覆性创新挑战：实现 AGI 功能的主要挑战是收集足够的反馈数据，例如编写股票交易算法并进行回测，需要大量用户反馈数据，目前收集数据最快需要 1.5 年，训练模型需要半年。
• 多模态进展：多模态在文本方面没有问题，但在生成方面热度下降，商业化落地受阻，用户对 AI 广告兴趣降低。多模态输入方面进展较快，通过结合 CNN、Object Detection 等方法，减少计算资源消耗，模型逐渐变小，速度加快。

公司竞争与策略

• OpenAI 人员变动：OpenAI 人员变动可能为个人行为，主要问题是模型差距缩小，如何拉开差距并吸引用户付费成为关键。To C 端面临用户量大、亏损严重的瓶颈。
• 谷歌策略：谷歌加大算力投入，内部节省成本，推出性价比更高的模型，To B 端军备竞赛激烈，To C 端趋于谨慎，寻找收支平衡的 use case。

算力需求与数据中心

• 算力需求：GPT-5 和 GPT-6 的算力需求取决于公司决定，目前最大数据中心规模约 10-15 万张卡，训练上千 trillion token。
• 数据中心建设：美国建立数据中心需符合 IEC 标准，每个 rack 电流限制为 60A，新芯片能耗高，增加建设难度，无需建立超大规模数据中心。

技术创新与未来方向

• GPT-5 技术性能：GPT-5 主要做 advanced planning 和 reasoning，采用 Q-star 模型，支持中间回退、多步推理和 long-term thinking 架构。
• 专业领域进展：未来模型将使用专家模型，提供专业领域回答，如法律、医疗、编程等。
• 模型训练方法：模拟数据技术发展，可根据需求生成数据，模型规模有变小趋势，新的训练方法如大小模型共享底座提高效率。

研究结论

• 大模型技术发展迅速，但实现 AGI 功能仍面临数据收集和算力需求的挑战。
• To B 端军备竞赛激烈，To C 端趋于谨慎，寻找收支平衡的 use case。
• 模型训练方法创新，如模拟数据技术和大小模型共享底座，提高训练效率。
• 未来模型将支持更复杂的推理和长时序思考，并在专业领域提供更专业的回答。