AI+专题系列点评（二十一）：Meta发布Llama 3.1：开源AI领域的新进展

事项： 2024年7月23日，Meta推出了Llama 3.1，包含8B、70B和405B三个版本，其中405B拥有4050亿参数，是目前最大、最强的开源模型之一，性能上超越了现有的顶级AI模型。405B支持128K tokens的上下文窗口，能够处理复杂任务和对话，支持多语言输入输出，尤其擅长解决复杂数学问题和即时内容生成。这些特性使Llama 3.1在多种场景中更灵活强大。此次发布标志着Meta在开源AI生态系统的进展，并挑战了GPT-4等封闭模型，体现了Meta对推动开源AI的承诺。 评论： 开源权重和代码，允许微调和蒸馏：Meta提供了Llama 3.1的92页技术报告，记录了模型的创建过程和技术细节。模型的权重和代码开源，允许商用。开发者可利用这些资源生成合成数据，对模型进行微调和蒸馏，以适应特定的小型任务，满足不同的应用需求。 支持多语言窗口，处理复杂任务对话：Llama 3.1支持8种语言，上下文窗口增加到128K tokens，使其更擅长处理复杂任务和多语言对话。在测试中，Llama 3.1 405B版本的表现接近GPT-4和Claude 3.5，尤其适合需要高效信息检索的AI应用，能够在处理长短文本时保持高质量和安全性。 推理增强，解决数学问题和生成内容突出：405B模型增强了推理能力，尤其在复杂数学问题和即时内容生成方面表现突出。通过优化工具使用和函数调用，Llama 3.1能高效处理多步骤任务并生成高质量内容，提升了其实际应用中的适用性。 推动AI智能化，展现行业领军潜力：Llama 3.1已经广泛应用于多个领域，如云服务、医疗、金融和教育，通过与AWS、Google、微软Azure等公司的合作，推动了各行业的智能化进程。其开源策略使其具备了广泛的应用潜力，增强了市场竞争力，进一步巩固了Meta在AI领域的领军地位。 投资建议：AI大模型本质应落脚垂类应用，国内大模型正快速追赶美国先进水平，中文大模型的突破有望为下游AI应用注入新的活力，看好AI+应用产品力与商业化落地进程。建议关注以下标的：AI+应用侧：1）安全：永信至诚、深信服；2）办公：金山办公、福昕软件；3）法律：金桥信息、华宇软件、通达海；4）医疗：润达医疗；5）教育：佳发教育、欧玛软件、新开普；6）金融：同花顺、新致软件；7）邮箱：彩讯股份；8）传媒：掌阅科技、华策影视； 9）数据：海天瑞声；10）电商：焦点科技；11）OA：致远互联、泛微网络； 12）ERP：用友网络、金蝶国际。算力侧：1）算力基础：润泽科技、亚康股份、海光信息、寒武纪、龙芯中科；2）服务器：中科曙光、浪潮信息、紫光股份、神州数码、拓维信息。 风险提示:商业化后表现不及预期，用户付费意愿低，行业技术迭代速度较快。 一、Llama 3.1：融合卓越性能与广泛适用性的开源模型 （一）开源权重和代码，允许微调和蒸馏到其他模型 Meta开源Llama 3.1，支持微调与蒸馏。Meta在发布Llama 3.1系列模型时，采用了开源策略，提供了模型的权重和代码，并允许商用。开发者可以利用这些资源生成合成数据、对模型进行微调和蒸馏，从而将其调整为更适合特定任务的小型专家模型。Meta还发布了一份详尽的92页技术报告，详细记录了模型的创建过程和技术细节。通过这些开放资源，开发者能够在确保数据安全的前提下，深度定制Llama 3.1，以满足各自的应用需求。 （二）支持多语言上下文窗口，处理更复杂的任务和对话 Llama 3.1支持多语言长上下文，性能接近顶尖模型。Llama 3.1通过支持8种语言和将上下文窗口长度提升至128K tokens，显著增强了处理复杂任务和多语言对话的能力。相比前代，窗口长度增加了16倍，使其在理解和处理长文本及复杂交互任务时表现更优。 在基准测试中，Llama 3.1 405B版本表现出色，特别是在ZeroSCROLLS和QuALITY测试中，接近GPT-4和Claude 3.5，展现了强大的RAG性能。这使得Llama 3.1在处理不同语言的长短文本时，能够保持高质量和安全性，巩固了其在AI应用中的广泛适用性。 图表1 Llama 3.1与GPT4等闭源模型相比较 （三）推理能力增强，解决复杂数学和生成即时内容表现突出 Llama 3.1在推理和内容生成上业内领先。Meta的基准测试显示，Llama 3.1不仅接近现有的行业前沿模型，如GPT-4和Claude 3.5，甚至在某些任务中表现优异。具体来说，它在MATH基准测试中的成绩与这些领先模型相当，展现了其强大的数学推理能力。此外，通过优化工具使用和函数调用，Llama 3.1能够高效处理多步骤任务，并生成高质量的即时内容，从而大幅提升其在实际应用中的适用性。 图表2 Llama 3.1与ChatGPT和Claude的对比 二、Llama 3.1推动AI智能化发展，彰显其行业领军地位的潜力 Llama 3.1助力Meta在各行业实现智能化升级，巩固其AI领域的影响力。Llama3.1系列模型已被广泛应用于Meta及其合作伙伴的多个产品中，例如AWS、Google和微软Azure云平台。通过持续的滚动更新，这些平台的智能化水平得到了显著提升，增强了用户体验和市场竞争力。在企业应用领域，Llama 3.1与Databricks、Nvidia等公司合作，支持开发人员微调和定制模型，帮助企业实现更高效的AI部署。 图表3 AWS与Llama 3.1合作 图表4使用Llama 3.1 405B的Meta旗下终端聊天机器人