信息技术行业动态点评：DeepSeek发布第二代MoE架构模型，API调用成本降低

/ 信息技术行业动态点评 DeepSeek发布第二代MoE架构模型，API调用成本降低 / 2024年05月13日 【事项】 近日，DeepSeek团队开源了第二代MoE模型DeepSeek-V2，总体实现了更多参数，能力更强，并在成本上有大幅降低。 在目前大模型主流榜单中，DeepSeek-V2均表现出色:在中文综合能力开源模型中亮眼，与GPT-4-Turbo，文心4.0等闭源模型在评测中处于同一梯队；英文综合能力与目前最强的开源模型LLaMA3-70B同处第一梯队，超过MoE开源模型Mixtral8x22B；而在知识、数学、推理、编程等榜单结果DeepSeek也位居前列。在上下文层面，DeepSeek目前支持128K上下文窗口。 根据DeepSeek自己估计，DeepSeek-V2以236B总参数、21B激活，大致达到70B~110BDense的模型能力，同时消耗的显存（KVCache）是同级别Dense模型的1/5~1/100，每token成本大幅降低。实际部署在8卡H800机器上，输入吞吐量超过每秒10万tokens，输出超过每秒5万tokens。 挖掘价值投资成长 强于大市（维持） 东方财富证券研究所 证券分析师：方科 证书编号：S1160522040001电话：021-23586361 相对指数表现 20.84% 10.54% 0.23% -10.07% -20.37% -30.67%5/127/129/1211/121/123/12 信息技术沪深300 相关研究 《长征六号丙运载火箭成功发射，商业航天市场前景辽阔》 2024.05.07 《从“98房改”看数据要素价值释放》 2024.03.21 《全国数据资源调查启动，数据要素价值持续释放》 2024.02.20 《英伟达特供芯片据传接受预订，国内算力市场空间迸发》 《数据赋能，AI突围》 2024.02.07 2024.01.19 行业研究 信息技术 证券研究报告 2017 【评论】 整体表现出色。从表中可看到，DeepSeek在编程、数学解题等领域在国内大模型中处于领先水平；在列举的开源模型中，DeepSeek的各个维度都表现优异。 图表1：各大模型API或Chat版本效果对比 资料来源：DeepSeek公众号，东方财富证券研究所 模型结构创新。DeepSeek-V2没有沿用主流的“类LLaMA的Dense结构”和“类Mistral的Sparse结构”，而是对模型框架进行了全方位的创新，提出了媲美MHA的MLA（Multi-headLatentAttention）架构，大幅减少计算量和推理显存；自研Sparse结构DeepSeekMoE进一步将计算量降低到极致，两者结合最终实现模型性能跨级别的提升。 API调用成本大幅降低。DeepSeek-V2API的定价为：每百万tokens输入1元、输出2元（32K上下文），价格为GPT-4-Turbo的近百分之一。就中文能 力来看，DeepSeek-V2在全球模型中处于第一档的位置，成本方面却是更低的，性价比凸显。 2017 图表2：不同大模型API价格对比图表3：不同大模型的中文能力和API价格对比 资料来源：DeepSeek公众号，东方财富证券研究所资料来源：DeepSeek公众号，东方财富证券研究所 DeepSeek-V2将大语言模型训练中广泛被验证有用的训练策略深度整合，集合了长度外推训练的YaRN，高效对齐的GRPO，MLA与混合专家分配等方法进行模型训练。做到了算法、工程和数据的极致优化。 我们认为，随着大模型参数的不断加大，推理侧降本早已成为众矢之的，模型架构的创新使得降本速度明显加快，算力节省，可能带来需求上升，应用侧的不断诞生也会促进算力上更多的需求。建议保持对AI整个板块的关注。建议关注：海光信息，景嘉微，寒武纪，工业富联，浪潮信息等 【风险提示】 行业竞争加剧；算力供给不足。 2017 东方财富证券股份有限公司（以下简称“本公司”）具有中国证监会核准的证券投资咨询业务资格分析师申明： 作者具有中国证券业协会授予的证券投资咨询执业资格或相当的专业胜任能力，保证报告所采用的数据均来自合规渠道，分析逻辑基于作者的职业理解，本报告清晰准确地反映了作者的研究观点，力求独立、客观和公正，结论不受任何第三方的授意或影响，特此声明。 投资建议的评级标准： 报告中投资建议所涉及的评级分为股票评级和行业评级（另有说明的除外）。评级标准为报告发布日后3到12个月内的相对市场表现，也即：以报告发布日后的3到12个月内的公司股价（或行业指数）相对同期相关证券市场代表性指数的涨跌幅作为基准。其中：A股市场以沪深300指数为基准；新三板市场以三板成指（针对协议转让标的）或三板做市指数（针对做市转让标的）为基准；香港市场以恒生指数为基准；美国市场以标普500指数为基准。 股票评级 买入：相对同期相关证券市场代表性指数涨幅15%以上； 增持：相对同期相关证券市场代表性指数涨幅介于5%～15%之间；中性：相对同期相关证券市场代表性指数涨幅介于-5%～5%之间；减持：相对同期相关证券市场代表性指数涨幅介于-15%～-5%之间；卖出：相对同期相关证券市场代表性指数跌幅15%以上。 行业评级 强于大市：相对同期相关证券市场代表性指数涨幅10%以上； 中性：相对同期相关证券市场代表性指数涨幅介于-10%～10%之间；弱于大市：相对同期相关证券市场代表性指数跌幅10%以上。 免责声明： 本研究报告由东方财富证券股份有限公司制作及在中华人民共和国（香港和澳门特别行政区、台湾省除外）发布。 本研究报告仅供本公司的客户使用。本公司不会因接收人收到本报告而视其为本公司的当然客户。 本研究报告是基于本公司认为可靠的且目前已公开的信息撰写，本公司力求但不保证该信息的准确性和完整性，客户也不应该认为该信息是准确和完整的。同时，本公司不保证文中观点或陈述不会发生任何变更，在不同时期，本公司可发出与本报告所载资料、意见及推测不一致的报告。本公司会适时更新我们的研究，但可能会因某些规定而无法做到。除了一些定期出版的报告之外，绝大多数研究报告是在分析师认为适当的时候不定期地发布。 在任何情况下，本报告中的信息或所表述的意见并不构成对任何人的投资建议，也没有考虑到个别客户特殊的投资目标、财务状况或需求。客户应考虑本报告中的任何意见或建议是否符合其特定状况，若有必要应寻求专家意见。本报告所载的资料、工具、意见及推测只提供给客户作参考之用，并非作为或被视为出售或购买证券或其他投资标的的邀请或向人作出邀请。 本报告中提及的投资价格和价值以及这些投资带来的收入可能会波动。过去的表现并不代表未来的表现，未来的回报也无法保证，投资者可能会损失本金。外汇汇率波动有可能对某些投资的价值或价格或来自这一投资的收入产生不良影响。 那些涉及期货、期权及其它衍生工具的交易，因其包括重大的市场风险，因此并不适合所有投资者。 在任何情况下，本公司不对任何人因使用本报告中的任何内容所引致的任何损失负任何责任，投资者需自行承担风险。 本报告主要以电子版形式分发，间或也会辅以印刷品形式分发，所有报告版权均归本公司所有。未经本公司事先书面授权，任何机构或个人不得以任何形式复制、转发或公开传播本报告的全部或部分内容，不得将报告内容作为诉讼、仲裁、传媒所引用之证明或依据，不得用于营利或用于未经允许的其它用途。 如需引用、刊发或转载本报告，需注明出处为东方财富证券研究所，且不得对本报告进行任何有悖原意的引用、删节和修改。