MetaAI革新：Llama3开源大模型引领高效信息交互新纪元

事项： 4月19日，Meta发布了其最新版本的开源大语言模型Llama 3，官方号称“有史以来最强大的开源大模型”。此次发布的开源模型Llama 3有8B和70B两个版本，是去年7月发布的Llama2模型的升级版，由于预训练和指令的微调，Llama 3相比Llama 2有了显著的进步。 评论： Llama 3在行业基准测试中获得领先表现。Llama 3模型是Meta在大型语言模型领域的重大突破，拥有8B和70B参数，显著提升了性能。其预训练和后续训练阶段的技术革新使其达到业界领先水平，碾压了多个竞争对手。优化后的后训练流程增强了模型的一致性和响应多样性。Llama 3在推理、代码生成和遵循指令等方面能力显著增强，同时新增的信任和安全工具提升了模型安全性。Meta特别设计了高质量的人类评估标准，包含1800个测试项，覆盖12个应用场景。通过这套评估体系，Llama 3在现实应用场景中展现出卓越性能，超越其他同等规模模型。 Llama 3创新了模型架构与训练方法。Llama 3模型的成功得益于其四大核心要素的突破性进展：创新的模型架构、精选的训练数据、扩大的预训练规模以及精细的指令微调。其高效的设计理念和先进的技术应用，使得模型在推理、编码效率和准确性上均有显著提升。通过扩大训练数据规模和严格的数据过滤流程，确保了模型训练的高质量和多语言适应性。同时，创新的指令微调技术也极大提升了模型在逻辑推理和编程任务上的表现。Llama 3的出色表现标志着Meta在大型语言模型领域的技术领先地位，并为未来AI技术的发展提供了有力支撑。 Llama 3助力Meta人工智能助手，多款应用无缝集成。Meta AI作为领先的人工智能助手，通过Llama 3的助力，在Facebook、Instagram、WhatsApp和Messenger等应用中实现了无缝集成，为用户提供了卓越的使用体验。用户可轻松访问实时信息，完成多样化任务。此外，Meta AI的“imagine”模块为用户带来实时图片生成功能，将文字描述转化为高质量图片，展示了AI技术的创新应用。在Facebook Feed中，用户可与Meta AI互动，获取更多信息，实现个性化服务。这些功能的推出标志着Meta AI在人工智能领域的重要突破，为用户带来更为便捷、智能的交互体验。 投资建议：AI大模型本质应落脚垂类应用，国内大模型正快速追赶美国先进水平，中文大模型的突破有望为下游AI应用注入新的活力，看好AI+应用产品力与商业化落地进程。建议关注以下标的：AI+应用侧：1）安全：永信至诚、深信服；2）办公：金山办公、福昕软件；3）法律：金桥信息、华宇软件、通达海；4）医疗：润达医疗；5）教育：佳发教育、欧玛软件、新开普；6）金融：同花顺、新致软件；7）邮箱：彩讯股份；8）传媒：掌阅科技、华策影视； 9）数据：海天瑞声；10）电商：焦点科技；11）OA：致远互联、泛微网络； 12）ERP：用友网络、金蝶国际；13）硬件：汉王科技。算力侧：1）算力基础：润泽科技、亚康股份、海光信息、寒武纪、龙芯中科；2）服务器：中科曙光、浪潮信息、紫光股份、高新发展、神州数码、拓维信息。 风险提示：商业化后表现不及预期，用户付费意愿低，行业技术迭代速度较快。 一、性能与安全的双重飞跃，技术革新引领AI新纪元 （一）性能卓越：Llama 3在行业基准测试中获得领先表现 Llama 3模型以其卓越的性能和广泛的应用场景适应性，标志着Meta在大型语言模型领域的技术突破。Llama 3模型拥有8B（80亿）和70B（700亿）参数，相较于前代Llama 2模型实现了显著的性能提升，在大语言模型领域中刷新了记录。这一进步得益于预训练和后续训练阶段的技术革新，使得Llama 3在预训练和指令微调后的表现均达到了业界领先水平。Llama 3模型在评测结果中碾压了Gemma-7B、Mistral-7B等版本，同时也超越了Gemini 1.5 Pro和Claude 3 Sonnet等竞争对手。优化后的后训练流程有效降低了误拒率，增强了模型的一致性，并显著提升了响应的多样性。此外，Llama 3在推理、代码生成和遵循指令等方面的能力得到了显著增强，提升了模型的灵活性和易用性。Llama 3还新增了Llama Guard 2、Code Shield和CyberSec Eval 2等信任和安全工具，确保模型不会被轻易越狱，输出有害内容，提升了模型的安全性。 图表1 Meta Llama 3测评结果 在研发过程中，Meta特别关注了Llama 3在现实应用场景下的表现，并为此设计了一套全新的、高质量的人类评估标准。这套评估体系包含1800个测试项，覆盖了12个主要的应用场景，如寻求建议、集思广益、分类、编程、创意写作等。为了预防过拟合现象，所有团队包括建模团队在内都被限制访问该评估集。通过这套评估体系，Llama 3的70B参数指令遵循模型在现实世界应用场景中展现出了卓越的性能，超越了其他同等规模的竞争对手模型。 图表2 Meta Llama 3人类评估测验结果 （二）技术创新：Llama 3模型架构与训练方法的创新 Llama 3模型的打造是一个集创新思维、规模扩展与优化于一体的复杂过程，它在四个核心要素上实现了突破性进展：模型架构、训练数据、预训练规模和指令微调。 模型架构的创新。Llama 3采用了简化而高效的设计理念，选择了标准的仅解码器的Transformer架构，并在关键方面进行了改进。它使用了拥有128K token的分词器，显著提升了编码效率，并支持8K长文本。此外，引入分组查询注意力（GQA）技术，以及在处理长序列时使用的掩码技术，进一步提升了模型在推理过程中的效率和准确性。 训练数据的精选。高质量的训练数据是训练优秀语言模型的关键。Llama 3的预训练基于超过15T的Token，这些数据全部来源于公开可获取的资源。与前代Llama 2相比，训练集规模扩大了七倍，代码数据量增加了四倍。为了适应多语言场景，Llama 3的预训练数据中超过5%是非英语的，覆盖了超过30种语言。此外，通过一系列先进的数据过滤流程，包括启发式过滤器、NSFW内容过滤、语义去重技术和文本质量分类器，确保了训练数据的优质性。 扩大预训练规模。为了充分利用预训练数据，Llama 3在扩大预训练规模上做了大量工作。 通过详尽的Scaling Laws，指导了数据处理方案和计算资源的高效使用。Llama 3的训练是基于超过15万亿token的数据集，是Llama2数据集的7倍还多，为模型提供了更丰富的信息基础。 指令微调的精细打磨。Llama 3在指令微调方面进行了创新性的改进，融合了多种技术，包括监督式微调（SFT）、拒绝抽样、近端策略优化（PPO）和直接策略优化（DPO）。这些技术的结合，特别是PPO和DPO技术的应用，极大提升了模型在逻辑推理和编程任务上的表现，使模型能够更准确地选择正确答案。 二、Llama 3助力Meta人工智能助手，多款应用无缝集成 通过配置Meta Llama 3, Meta AI是世界领先的人工智能助手之一。用户可以在Facebook,Instagram, WhatsApp和Messenger上使用Meta AI来完成任务，学习，创建和连接重要的事情。Meta在2023年的Connect大会上首次宣布了Meta AI，随着Llama 3的助力，Meta AI助手提升了使用体验，完善了功能。 在多款应用中无缝集成。Meta AI也可以在Facebook、Instagram、WhatsApp和Messenger中搜索。用户可以在不离开应用程序的情况下访问来自整个网络的实时信息。 假设用户正在Messenger小组聊天中计划一次滑雪旅行，若使用Messenger中的搜索功能，可以要求Meta AI查找从纽约到科罗拉多的航班，并找出最不拥挤的周末去。而所有这些操作都无需离开Messenger应用程序。 更为“实时”的图片生成功能。该功能通过Meta AI的“imagine”模块，允许用户根据文字描述即时生成图片，这一创新特性目前已在美国地区的WhatsApp和Meta AI网页版上以beta版本推出。该功能的实时性体现在用户输入文字描述的同时，能够观察到图像的逐渐构建和变化。随着每个字母的输入，图像细节逐步丰富，为用户提供了一个直观的体验，展示了Meta AI如何将用户的文字想象转化为可视化的图像现实。此外，生成的图片在质量上也达到了新高，呈现出更高的清晰度和更精细的细节处理能力，尤其在图像中融入文字方面表现出色。 图表3“实时”的图片生成功能示范 在Feed信息流中使用Meta AI。Meta AI集成为Facebook平台的用户带来了前所未有的互动体验和信息获取方式。现在，用户在浏览Facebook动态时，可以直接与Meta AI互动，获取他们感兴趣的帖子背后的更多信息。例如，当用户在Facebook上看到一段关于弹吉他的视频时，他们可以直接向Meta AI提问，以获取关于吉他联系技巧等相关信息。Meta AI能够利用其先进的语言处理能力和丰富的知识库，为用户提供准确且详细的答案。在技术层面，Meta AI的这种集成展示了其在多模态交互和上下文理解方面的先进能力。它能够理解用户在特定社交上下文中的查询意图，并提供相关且有用的信息，这标志着AI技术在提供个性化服务方面迈出了重要的一步。 图表4 Feed信息流功能示范