Meta发布Llama3，开源生态再迎重大更新

Meta发布Llama3，有望开源400B参数模型。2024年4月18日，Meta 发布开源大模型Llama 3系列，包括8B和70B两个版本，并宣布超过400B 的版本正在训练中。Llama3支持8K上下文长度，是Llama2的两倍，同时 大大降低了错误拒绝率，改善了一致性，并增加了模型响应的多样性，在推 理、代码生成和指令跟踪等功能也有极大改进。大规模、高质量的训练数据 处理对Llama3至关重要，Llama 3经过超15T token的预训练，训练数据 集比Llama 2使用的数据集大七倍，并且包含四倍多的代码。Meta还自己 开发了一套新的高质量人类评估数据集。在接下来的几个月中，Meta将发 布多个具有新功能的模型，包括多模态、以多种语言交谈的能力、更长的上 下文窗口和更强的整体功能。Llama3赋能的Meta AI助手已嵌入WhatsApp、 Messenger和Instagram等多项应用。 开源生态蓬勃发展，良性竞争推动产业进步。当前无论是商业闭源大模型还 是开源大模型都相当丰富。除了Meta的Llama系列模型，还有众多科技大 厂和创业公司在贡献各种规模的大模型可供选择。如法国初创公司Mistral AI，智源研究院的悟道系列模型，阿里的通义千问系列模型，百川智能的 baichuan系列模型等。同时huggingface，Modelscope、智源社区等开源社 区也为大模型生态作出极大贡献。开源模型相比闭源模型，具备可控性、定 制化能力以及成本优势。我们认为，模型生态的不断发展和技术的日益成熟， 将有力促进AI应用生态的繁荣发展。 建议关注：算力侧：中科曙光、浪潮信息、海光信息、利通电子、高新发展、 中际旭创、新易盛、工业富联、朗科科技、云赛智联、寒武纪、万马科技、 神州数码、浙文互联、软通动力、恒为科技、润建股份、拓维信息、烽火通 信等。 AI相关：金山办公、大华股份、中广天择、福昕软件、海康威视、昆仑万 维、拓尔思、科大讯飞、万兴科技、润达医疗、开普云、漫步者、紫天科技。 自动驾驶：特斯拉、赛力斯、长安汽车、江淮汽车、德赛西威、中科创达、 万马科技、海天瑞声、华依科技、北汽蓝谷、阿尔特、菱电电控、经纬恒润、 东风汽车、光庭信息等。 风险提示：AI技术迭代不及预期风险；经济下行超预期风险；行业竞争加 剧风险。 Meta发布Llama3，有望开源400B参数模型 2024年4月19日，Meta发布Llama 3大模型。Llama 3目前已经开源8B和70B参数规模的版本，另外还有400+B的版本仍在训练中。 Llama3支持8K上下文长度，是Llama2容量的两倍。Meta表示Llama3大大降低了错误拒绝率，改善了一致性，并增加了模型响应的多样性，同时在推理、代码生成和指令跟踪等功能也有极大改进，更加易于操控。 图表1：Llama3 8B和70B与其他模型在各LLM评测基准上的性能对比 大规模、高质量的训练数据处理对Llama3至关重要，Meta表示公司在Llama3的预训练数据上投入了大量资金。Llama3经过超过15Ttoken的预训练，训练数据集比Llama2使用的数据集大七倍，并且包含四倍多的代码。并且为了多语言能力，超过5%的Llama3预训练数据集由涵盖30多种语言的高质量非英语数据组成。Meta还进行了广泛的实验，以评估在最终预训练数据集中混合不同来源的数据的最佳方法，使Meta能够选择一个数据组合，确保Llama3在各种用例（包括琐事问题、STEM、编码、历史知识等）中表现良好。 在Llama3的开发过程中，Meta还自己开发了一套新的高质量人类评估数据集。包含1800个prompt，涵盖12个关键用例：寻求建议、头脑风暴、分类、封闭式问答、编码、创意写作、提取、塑造角色/角色、开放式问答、推理、重写和总结。Meta将Llama3和Claude Sonnet、Mistral Medium和GPT-3.5对这些类别和提示进行人工评估，对比结果显示Llama3在多数情况下均表现优于以上模型。 图表2：Llama3 70B与其他模型在Meta提出的人类评估数据集上的能力对比 Meta官方表示，Llama 3 8B和70B之后公司还会发布更多产品，最大的模型参数规模超过400B，目前仍在训练中。在接下来的几个月中，Meta将发布多个具有新功能的模型，包括多模态、以多种语言交谈的能力、更长的上下文窗口和更强的整体功能。Meta分享了一些正在训练的最大模型在当前检查点能力评测的快照。 图表3：训练中的Llama3 400B+模型当前检查点在各LLM评测基准的得分 Llama3赋能Meta AI助手，已嵌入多项应用。2023年9月，MetaConnect大会上推出了高级对话助手MetaAI，可在WhatsApp、Messenger和Instagram上使用，并且将用于Ray-BanMeta智能眼镜和Quest3。得益于Llama3的进展，目前用户可以在Meta的应用程序中的提要、聊天、搜索等中使用MetaAI来完成工作并访问实时信息，而无需离开正在使用的应用程序。并且MetaAI的图像生成速度现在更快，在用户键入时可以实时生成图像。 图表4：Meta AI可以随着用户输入迅速生成新图像 开源生态蓬勃发展，良性竞争推动产业进步 当前无论是商业闭源大模型还是开源大模型都相当丰富，除了Meta的Llama3，还有众多科技大厂和创业公司在贡献各种规模的大模型可供选择。同时huggingface，Modelscope、智源社区等开源社区也为大模型生态作出极大贡献。 Mistral AI是于2023年4月成立的法国初创公司，发布了多个开源的大型语言模型，2024年4月发布最新的开源模型Mixtral 8x22B，它是一种稀疏的专家混合（SMoE）模型，具有以下优点：1）精通英语、法语、意大利语、德语和西班牙语；2）具有很强的数学和编码能力；3）它本身就能够调用函数，有利于应用程序开发；4）64K token的上下文窗口允许从大型文档中精确调用信息。 智源研究院是专注于人工智能研究的非盈利性机构，打造FlagOpen大模型技术开源体系，包括大模型算法、模型、数据、工具、评测等部分。包括悟道系列模型，如“悟道・天鹰（Aquila）”语言大模型系列、FlagEval（天秤）大模型语言评测体系以及“悟道・视界”视觉大模型系列。 图表5：智源研究院FlagOpen开源体系 通义千问是阿里开源的大型语言模型系列，它包括了不同参数规模和多种模态的模型，如Qwen-7B、Qwen-14B、Qwen-72B等，以适应不同的应用需求，其中最新的是2024年4月发布的320亿参数的Qwen1.5-32B模型。 图表6：Qwen1.5-32B、Qwen1.5-32B和Mistral-8*7B模型能力对比 同时阿里打造开源平台魔搭(ModelScope)社区，为泛AI开发者提供灵活、易用、低成本的一站式服务，让模型应用更简单。魔搭社区汇集行业领先的预训练模型，提供源开放的AI开发环境和模型服务，包括丰富的预训练SOTA模型；多元开放的数据集；模型的本地推理接口，以及线上模型推理预测服务；丰富的教学内容与技术资源等多项服务。 图表7：魔搭社区提供多项模型、数据集等服务 国内创业公司百川智能由前搜狗公司CEO王小川与2023年4月创立。核心团队由来自搜狗、百度、华为、微软、字节、腾讯等知名科技公司的AI顶尖人才组成。百川智能成立不到100天，便发布了Baichuan-7B、Baichuan-13B两款开源可免费商用的中文大模型，且在多个权威评测榜单均名列前茅，下载量突破百万。 开源模型的优势包括可控性和定制化能力，成本也是选择模型的考虑因素之一。在B端应用大模型的趋势上，据投资机构a16z的调查报告，2023年OpenAI的模型占据主导地位，但同时其采访的60%的企业中的AI leader指出，当微调的开源模型的性能大致匹配时，他们有兴趣增加开源的使用。从2024年开始，企业的模型使用预计将向开源模型倾斜，一些企业明确的目标是闭源和开源各50%的比例，高于2023年的80%闭源/20%开源的比例。 我们认为，随着模型生态的不断发展和技术的日益成熟，构建AI应用的基础模型选择变得更加多样化和灵活，开源模型的百花齐放将有力促进AI应用生态的繁荣发展。 建议关注 算力侧：中科曙光、浪潮信息、海光信息、利通电子、高新发展、中际旭创、新易盛、工业富联、朗科科技、云赛智联、寒武纪、万马科技、神州数码、浙文互联、软通动力、恒为科技、润建股份、拓维信息、烽火通信等。 AI相关：金山办公、大华股份、中广天择、福昕软件、海康威视、昆仑万维、拓尔思、科大讯飞、万兴科技、润达医疗、开普云、漫步者、紫天科技。 自动驾驶：特斯拉、赛力斯、长安汽车、江淮汽车、德赛西威、中科创达、万马科技、海天瑞声、华依科技、北汽蓝谷、阿尔特、菱电电控、经纬恒润、东风汽车、光庭信息等。 风险提示 AI技术迭代不及预期风险：若AI技术迭代不及预期，则对产业链相关公司会造成一定不利影响。 经济下行超预期风险：若宏观经济景气度下行，固定资产投资额放缓，影响企业再投资意愿，从而影响消费者消费意愿和产业链生产意愿，对整个行业将会造成不利影响。 行业竞争加剧风险：若相关企业加快技术迭代和应用布局，整体行业竞争程度加剧，将会对目前行业内企业的增长产生威胁。