AI+专题系列点评（五）：开源大模型Gemma点评

Google推出Gemma：轻量级开源AI模型及其特点

1. Gemma的特性与发布

• 背景：Gemma是Google基于改良Transformer架构的轻量级开放模型，旨在提供高性能计算与广泛的可访问性。
• 发布版本：Gemma提供两种权重规模的模型：Gemma 2B和Gemma 7B，支持预训练和指令微调。
• 应用场景：Gemma 7B适用于GPU和TPU高效部署，适合复杂的计算环境；Gemma 2B则适配CPU和端侧应用程序，兼容更多设备。

2. 性能与优化

• 训练优化：使用自研AI芯片TPUv5e进行训练，部署在大规模集群中，实现高效的模型训练。
• 基准测试：在18项文本任务中，Gemma在11项任务上表现出优于同类模型的性能，特别是在数学、科学、编码等任务中。
• 架构改进：基于Transformer进行优化，包括多查询注意力、RoPE嵌入、GeGLU激活、Normalizer Location等技术。

3. 人类偏好与自动评估

• 偏好评估：Gemma在创意写作、编码和遵循指令任务中表现出更高的胜率。
• 自动评估：在MMLU、GSM8K、MBPP等基准测试中，Gemma表现出色，尤其在数学和编码任务中超越多个大型模型。
• 记忆评估：Gemma在精准记忆测试中的表现良好，总记忆量与行业领先模型相当，但存在记录潜在隐私数据的可能性。

4. 市场影响与投资建议

• 市场潜力：Gemma的开源特性预计能推动算力、大模型和AI+应用领域的发展。
• 重点关注：
  • 算力基础：海光信息、寒武纪、龙芯中科；
  • 服务器：中科曙光、浪潮信息、紫光股份、高新发展、神州数码、拓维信息等；
  • 大模型：科大讯飞、商汤、三六零等；
  • AI+应用：金山办公、万兴科技、美图、虹软科技、当虹科技。

5. 风险提示

• 技术发展风险：多模态技术、算力基础设施和AI应用需求的发展可能低于预期。
• 市场竞争：面临来自其他大型模型供应商的竞争压力。

通过以上总结，Gemma作为一款轻量级开源AI模型，展现了在性能、灵活性和广泛适用性方面的优势，同时，其在推动AI技术普及和创新方面具有重要意义。然而，市场参与者的关注点不仅限于技术性能，还包括其对算力需求、市场竞争以及未来技术发展趋势的影响。