计算机行业投资策略周报：LLaMA 2开源，加速应用百花齐放

投资评级:看好(维持) 核心观点 证券研究报告 最近12月市场表现 计算机 沪深300 45% 33% 20% 8% -4% -17% 分析师杨烨 SAC证书编号：S0160522050001 yangye01@ctsec.com 分析师罗云扬 SAC证书编号：S0160522050002 luoyy@ctsec.com 相关报告 1.《《生成式人工智能服务管理暂行办法》逐条解读——更严谨、更开放、更包容》2023-07-16 2.《世界人工智能大会吹响集结令，AI产业生态繁荣》2023-07-09 3.《全国高温下，关注电力市场化改革投资机会》2023-07-05 宏观环境扰动，大模型开源生态加速发展：本周计算机指数下跌5.24%，跑输沪深300指数3.26pct，在31个申万一级行业中涨幅排名31，年初至今计算机以19.07%的涨幅排名第3。本周宏观经济预期扰动加剧，板块持续调整。我们此前看好板块行情的持续性的三个出发点未曾改变：1）基本面提供确定性、2）流动性带来可能性、3）政策力度决定β强度。在此基础上，本周Meta开源的LLaMa2模型性能已接近GPT-3.5，同时开放了详细技术细节，全方位支持开源生态发展。大模型的“安卓时刻”或已来临。 Meta发布开源且可商用的LLaMa2：2023年7月19日，Meta发布了LLaMa2模型系列，该模型系列包含在2万亿个token上预训练的基座模型LLaMa2，和100万条人类标记数据上精调而得的对话模型LLaMA2-Chat，上述两组模型都包含了70亿、130亿和700亿三种参数变体。与初代LLaMa1相比，LLaMa2的训练数据量增加了40%，并进行了更强大的数据清理；此外，LLaMa2采用了分组查询注意力机制（QGA），上下文长度达到了4096个字符的水平（4k），是前代LLaMa1的2倍；值得一提的是，本次LLaMa2在开源的基础上允许了商用，并发布了详细的技术报告，这为做应用开发的企业提供了一个强大的免费选择和学习路径。 迎接大模型的“安卓时刻”：LLaMa2在开源大模型已实现领先，性能接近闭源SOTA模型。这意味着开源社区已经拥有一个规模适宜且性能优异的底座模型，这将显著推动在此基础上的二次开发和相关应用的商业化落地的潜力。此外，Meta在开源模型的基础上发布了详细的技术报告，这使得模型从预训练到调优的每一个环节都变得更加便利。因此，LLaMa2的发布其中一个重大意义则是显著降低了对开源模型做二次开发的门槛。随着开源模型生态的逐步壮大，巨头与巨头间、巨头与垂域企业间，势必将会不断摩擦出创新的火花，共同助力大模型在各个行业、各式场景的落地，大模型的“安卓时刻”或已来临。 投资建议：见正文。 风险提示：AI技术迭代不及预期的风险，商业化落地不及预期的风险，政策支持不及预期风险，全球宏观经济风险。 请阅读最后一页的重要声明！ 内容目录 1本周回顾：宏观环境扰动，大模型开源生态加速发展3 2Meta开源LLaMa2，迎接大模型的“安卓时刻”4 3投资建议10 4风险提示11 图表目录 图1.计算机板块相对各指数涨跌幅统计（2023.7.17-2023.7.21，单位:%）3 图2.本周各行业涨跌幅统计（2023.7.17-2023.7.21，单位:%）3 图3.Meta的LLaMa2基本信息4 图4.LLaMa2与其他开源大模型性能比较5 图5.LLaMa2（70B）与其他闭源大模型性能比较5 图6.LLaMa2预训练-监督微调-RLHF全流程6 图7.LLaMa2训练损失曲线7 图8.Meta通过其收集到的数据进行RLHF调优的LLaMa2-Chat输出内容上“战胜”ChatGPT8 图9.Huggingface中模型排名8 图10.亚马逊宣布通过AmazonSageMakerJumpStart向客户提供LLaMa2模型9 1本周回顾：宏观环境扰动，大模型开源生态加速发展 行情短期波动，核心资产估值性价比正在提升。本周计算机指数下跌5.24%，跑输沪深300指数3.26pct，在31个申万一级行业中涨幅排名31，年初至今计算机以19.07%的涨幅排名第3。本周宏观经济预期扰动加剧，板块持续调整。我们此前看好板块行情的持续性的三个出发点未曾改变：1）基本面提供确定性、2）流动性带来可能性、3）政策力度决定β强度。在此基础上，我们认为随着行情波动，核心资产估值性价比正在提升。同时，本周Meta开源的LLaMa2模型性能已接近GPT-3.5，同时开放了详细技术细节，全方位支持开源生态发展。大模型的“安卓时刻”或已来临。 图1.计算机板块相对各指数涨跌幅统计（2023.7.17-2023.7.21，单位:%） 代码 名称 近5日涨跌幅 年初至今涨跌幅 周相对涨跌幅 年初至今相对 涨跌幅 801750.SI 计算机（申万） -5.24 19.07 - - 000001.SH 上证指数 -2.16 2.54 -3.08 16.53 000300.SH 沪深300 -1.98 -1.28 -3.26 20.35 399006.SZ 创业板指 -2.74 -7.83 -2.50 26.90 数据来源：Wind，财通证券研究所 图2.本周各行业涨跌幅统计（2023.7.17-2023.7.21，单位:%） 6.00 4.00 2.00 0.00 -2.00 -4.00 -6.00 -8.00 纺煤电国织炭力防服设军 饰备工 环机基保械础 设化 备工 轻公钢石工用铁油制事石 造业化 农美汽林容车牧护 渔理 家医建用药筑电生装器物饰 综有建合色筑 金材 属料 电房非银子地银行产金 融 通交社信通会 运服 输务 商食传计贸品媒算零饮机售料 数据来源：Wind，财通证券研究所 2Meta开源LLaMa2，迎接大模型的“安卓时刻” Meta发布开源且可商用的LLaMa2。2023年7月19日，Meta发布了LLaMa2模型系列，该模型系列包含在2万亿个token上预训练的基座模型LLaMa2，和100万条人类标记数据上精调而得的对话模型LLaMA2-Chat，上述两组模型都包含了70亿、130亿和700亿三种参数变体。与初代LLaMa1相比，LLaMa2的训练数据量增加了40%，并进行了更强大的数据清理；此外，LLaMa2采用了分组查询注意力机制（QGA），上下文长度达到了4096个字符的水平（4k），是前代LLaMa1的2倍；值得一提的是，本次LLaMa2在开源的基础上允许了商用，并发布了详细的技术报告，这为做应用开发的企业提供了一个强大的免费选择和学习路径。 图3.Meta的LLaMa2基本信息 数据来源：MetaAI，机器之心，财通证券研究所 LLaMa2在开源大模型已实现领先，性能接近闭源SOTA模型。在开源大模型中，对比相同参数规模下的模型，LLaMa2在代码、语言推理、知识常识、阅读理解、数学等方面已实现了全面领先。在与闭源模型的比较下，LLaMa2 （70B）与GPT-4、PaLM-2-L这样的SOTA模型还有较为明显的差距，但与GPT-3.5、PaLM2在除代码能力外已经实现了持平甚至反超，作为一个参数规模更小的开源模型取得如此性能实则可喜。我们认为LLaMA2的性能提示这意味着开源社区已经拥有一个规模适宜且性能优异的底座模型，这将显著推动在此基础上的二次开发和相关应用的商业化落地的潜力。 图4.LLaMa2与其他开源大模型性能比较 数据来源：MetaAI，机器之心，财通证券研究所 图5.LLaMa2（70B）与其他闭源大模型性能比较 TriviaQA：阅读理解能力 GSM8K：数学问题 BIG-BenchHard：综合常识与语言理解 MMLU：多领域知识和解决问题能力 NaturalQuestions：开放领域常识 HumanEval：代码能力 数据来源：MetaAI，机器之心，财通证券研究所 Meta详细介绍打造LLaMa2的工作全流程。与ChatGPT一样，LLaMa2也是经历了预训练（Pre-Training）、有监督微调（SFT）和人类反馈强化学习 （RLHF）： 预训练阶段模型依旧是Transformer架构，与前代同样的使用了RMSNorm应用预归一化、SwiGLU激活函数和旋转位置嵌入RoPE。与前代最大的区别是1）训练数据量提升40%（学习更多知识）+关键事实数据采样（减少幻觉）、2）针对70B的版本通过使用分组查询注意力（GQA）将上下文长度拓展到了4k，获得更强的长文本推理能力； 微调阶段包括包括有监督的微调（SFT）和基于人类反馈的强化学习 （RLHF）。SFT阶段Meta强调了数据质量的重要性，这一阶段总共使用了27,540个高质量的人工标注数据（没有包含任何Meta的用户信息）；RLHF阶段依然采用了经典的最近策略优化（PPO）和拒绝采样微调，并加入了Meta自己收集的超过100万个基于人类应用指定准则的二元比较的大型数据集（安全性&帮助性）。 图6.LLaMa2预训练-监督微调-RLHF全流程 数据来源：MetaAI，机器之心，财通证券研究所 LLaMa2预训练模型尚未饱和，仍有持续训练提升空间。根据Meta发布的技术报告，预训练过程中Meta使用AdamW优化器进行训练，其中β_1=0.9，β_2=0.95，eps=10^−5。同时使用余弦学习率计划（预热2000步），并将最终学习率衰减到了峰值学习率的10%，并绘制出训练损失曲线。在训练数据量达到2Ttokens时，可以看出模型仍未饱和，有持续训练提升空间。我们认为这体现了Meta在训练大模型上与OpenAI的理念差异，前者希望向开发者提供小型化、开源化、具备商业落地性价比的基座模型，后者则更致力于打造一个全知全能，更接近AGI的SOTA模型。 图7.LLaMa2训练损失曲线 数据来源：MetaAI，机器之心，财通证券研究所 模型安全性重要性凸显，LLaMa2-Chat提供优质蓝本。大语言模型与生俱来的Hallucination（幻觉）使其输出的内容天生具有安全性低的特点，这是当前限制大模型大范围商用的关键堵点。在OpenAI的工作中，开发者认识到可以通过RLHF等方法对模型进行人工对齐，以牺牲一部分性能为前提（对齐税）换取模型安全性的提升。在LLaMA2项目中Meta倾注了大量工作提高模型的安全性。例如，Meta收集海量人类偏好数据注释，通过迭代式RLHF优化出的LLaMa2-Chat（根据不同规模数据量命名为RLHF1-5）输出内容与ChatGPT进行好坏对比，可明显看到获取更大数据量的RLHF-5“胜率”（下图的横纵坐标）高于ChatGPT。我们认为，LLaMa2-Chat作为一个开源的精调后对话模型，是在开源底座模型的基础上更进一步，这将助力开源模型整体安全性的进一步提升，对未来应用落地打下至关重要的基础。 图8.Meta通过其收集到的数据进行RLHF调优的LLaMa2-Chat输出内容上“战胜”ChatGPT 数据来源：MetaAI，机器之心，财通证券研究所 开源模型性能日新月异，生态正快速发展。在LLaMa2发布仅几日后，StabilityAI和CarperAIlab发布的大模型FreeWilly1（基于LLaMA-65B的微调）和FreeWilly2（LLaMa2-70B的微调），在Hugingface的基准成绩便超越了LLaMa2-70B本身。我们认为，正是Meta对LLaMa开源生态的全面支持，使得模型从预训练到调优的每一个环节都变得更加便利。因此，LLaMa2的发布其中一个重大意义则是显著降低了对开源模型做二次开发的门槛，在此基础上我们有理由相信垂域模型在不久的将来有望百花齐放。 图9.Huggingface中模型排名 数据来源：Huggingface，财通证券研究所 巨头纷纷合作，LLaMa2生态不断繁荣。1）高通技术公司和Meta正在合作优化MetaLlama2