计算机：国内顶尖大模型巡礼：MiniMax

全栈自研大模型，打造全球领先AGI生态。1）MiniMax成立于2021年12月，是一家通用人工智能科技公司，致力于与用户共创智能。MiniMax自主研发了不同模态的通用大模型，包括万亿参数的MoE文本大模型、语音大模型以及视觉大模型。 基于不同模态通用大模型，公司已推出多款AI原生应用。公司创始人为商汤前副总裁闫俊杰，核心团队成员技术背景强大。截至2024年初，公司估值已超过25亿美金，新一轮为阿里巴巴领投，验证其技术地位。2）2024年1月，MiniMax全量发布大语言模型abab6，为国内首个数千亿参数级别MoE大语言模型。同年4月，MiniMax推出万亿参数MoE大语言模型abab6.5。根据公司官方微信公众号，在各类核心能力测试中，abab6.5已与GPT4、Claude 3 Opus、Gemini 1.5 Pro等全球顶尖大语言模型接近。3）产品端，MiniMax在B端C端广泛布局。2C而言，基于不同模态的通用大模型，MiniMax推出生产力工具海螺AI、沉浸式AI内容社区星野等原生应用；2B而言，MiniMax开放平台为企业和开发者提供安全、灵活、可靠的API服务，助力快速搭建AI应用。 技术前瞻全面转向MoE，已超越GPT3.5、追赶GPT4。1）自2022年底ChatGPT推出以来，大模型已成为全球科技必争之地。目前，业内大模型主要包括两种流派，Dense与MoE。在传统的Dense模型中，所有的参数都会对所有的输入数据进行处理。而在MoE模型中，用户可以仅针对整个系统的某些特定部分执行动态激活计算。 2）相比Dense架构，MoE在相同计算资源下，训练速度更快，模型上限更高，是世界顶尖模型的主流选择。①在训练阶段，MoE能够在远少于Dense模型所需的计算资源下进行有效的预训练。这意味着在相同的计算预算条件下，用户可以显著扩大模型或数据集的规模。②在微调阶段，MoE模型可能从指令式微调中获益更多，高于Dense模型。③在推理阶段，尽管对内存需求较高，MoE模型的推理速度远快于具有相同数量参数的Dense模型。3）目前，MoE已成为业内共识，GPT4、Gemini、Mixtral等全球一流模型均已采用MoE架构。而MiniMax为了进一步提升模型在复杂任务下的效果，从2023年6月开始全面转向MoE模型，并于2024年4月全量发布为国内首个万亿参数级别MoE大语言模型abab 6.5，体现了其深刻的技术前瞻性与战略执行能力。 万卡算力集群为基，平台与产品已为全球客户广泛认可。1）在算力储备方面，根据公开信息，截至2023年，公司已拥有数千卡以上的常态化训练和万卡级推理算力资源池，支撑单日过亿次调用。2）在B端生态方面，自2023年4月，MiniMax发布开放平台以来，MiniMax陆续服务了近20,000家企业客户和开发者，其中包括金山办公、小红书、腾讯、小米和阅文在内的多家头部互联网公司。截止至2024年1月16日，即大语言模型abab6发布前，MiniMax开放平台平均单日的token处理量达到了数百亿。3）在C端产品方面，用户可以在星野根据自定义的外表、性格、语音，创立独特AI形象并收集卡牌，星野全球数据表现亮眼，月活已突破千万级别，商业化潜力大；另外，海螺AI作为公司国内推出的个人AI助理，用户可提出问题，获得详尽的解决方案，且可语音通话并和AI外教练习口语。 着眼AGI，与用户共创智能。MiniMax的理念是“Intelligence with Everyone”，即与用户共创智能。公司创始人闫俊杰在采访中提到“AGI不是大杀器，是普通人每天会用的一个产品、一个服务”；公司副总裁和开放平台负责人魏伟也在采访里提到，“目前距离实现真正的AGI仍然有很长的路要走。我们的目标是在算法上持续保持领先，在业务上始终为用户创造实际的价值。”我们认为，凭借扎实的大模型基座、广泛的应用生态、敏锐的技术前瞻性、果断的投入决心、优秀的人才团队，以MiniMax等为代表的国产大模型已逐步跻身全球一流科技梯队，AGI正在加速到来。 风险提示：AI技术迭代不及预期；经济下行超预期；行业竞争加剧。 一、全栈自研大模型，打造全球领先AGI生态 成立于2021年底，核心理念秉持“与用户共创智能”。1）MiniMax成立于2021年12月，是国内领先的拥有文本、语音、视觉三模态融合的语言大模型、并打通产品全链路的创业公司。通过搭建超大规模实验平台与推理平台，跑通技术与产品的迭代闭环，实现模型能力与用户交互量的极速增长。2）公司自成立以来便一直专注于推动通用人工智能技术突破，秉承“与用户共建智能（Intelligence with Everyone）”的核心理念，不断深化与用户的互动和智能技术的融合： 2022年10月，推出第一款面向C端的的虚拟AI社交应用Glow。“与智能体实时交流、沉浸互动并建立情感羁绊”，Glow上线4个月用户近500万，也是当前产品星野的前身。 2023年3月，发布面向B端用户的大语言模型技术平台——“MiniMax开放平台”，支持文本和语音模型的服务调用。 2023年6月，发布面向海外C端市场的虚拟扮演社交软件Talkie:SoulfulCharacterAI。 用户可以创建属于自己的AI聊天机器人形象，定制性格、语音。2023年9月，该软件的中文版星野登录AppStore、安卓等平台。 2023年8月底，MiniMaxabab大模型全面开放服务。1）适用于大多数文本处理相关的场景，如逻辑推理、文本续写、文案生成、文本扩写、文本改写、内容摘要、代码生成、知识检索等。2）提供一部分声音大模型能力，可应用于配音和音频交互等场景中。 2023年9月，面向C端的海螺AI智能伙伴软件正式发布。 2023年11月，MiniMax发布语音大模型abab-speech-01。截止2024年1月底，共有超过400家企业用户接入MiniMax的语音大模型。 2024年1月，MiniMax全量发布大语言模型abab6，为国内首个MoE大语言模型。在MoE结构下，abab6拥有大参数带来的处理复杂任务的能力，同时模型在单位时间内能够训练足够多的数据，计算效率也可以得到大幅提升。改进了abab5.5在处理更复杂、对模型输出有更精细要求场景中出现的问题。 2024年4月，MiniMax发布国内首个万亿参数的MoE大模型abab6.5。abab6.5系列包含两个模型：abab6.5和abab6.5s。abab6.5包含万亿参数，支持200ktokens的上下文长度；abab6.5s跟abab6.5使用了同样的训练技术和数据，但是更高效，支持200ktokens的上下文长度，可以1秒内处理近3万字的文本。 图表1：MiniMax技术理念 图表2：公司现有大模型部分布局 B端C端广泛布局，开放平台为企业提供API服务，星野、海螺为C端代表应用。基于不同模态的通用大模型，MiniMax推出生产力工具海螺AI、沉浸式AI内容社区星野等原生应用。MiniMax开放平台为企业和开发者提供安全、灵活、可靠的API服务，助力快速搭建AI应用。 1、MiniMax开放平台：提供基于大语言模型的丰富API能力，以满足不同企业客户及专业开发者的需求。计价方式简单灵活，按量计费，满足不同业务规模。 在文本大模型方面，MiniMax提供Chat Completion Pro、Chat Completion V2、ChatCompletion、Embeddings（向量化）以及Retrieval（知识库）等服务。收费标准主要基于token数计费，不同服务和使用量对应不同的单价。例如，ChatCompletion Pro的计费项包括0.1元/千tokens、0.015元/千tokens和0.005元/千tokens三个档次，而Embeddings服务则以0.0005元/千tokens的价格计费。此外，Finetune（微调）服务则根据训练和推理的token数以及epoch数来计算费用。 图表3：MiniMax开放平台文本大模型接口计费标准 在语音大模型方面，MiniMax提供了包括T2A、T2A pro、T2Alarge、T2A stream以及voice_clone（快速复刻）等多种语音合成服务。这些服务能够根据文本内容智能生成具有不同特征的语音输出，适用于多种场景。计费标准主要基于字符数（1个汉字算2个字符，英文字母和其他复合算1个字符），其中T2A、T2A pro和T2A stream接口均以5元/万字符的价格计费，而T2A large则以2元/万字符的价格计费。voice_clone服务目前仅对邀请制客户开放，具体费用未在文档中明确列出。而有声内容创作接口则专注于小说和叙述性文本，提供角色识别和角色音频生成服务，分别以0.6元/千tokens和5元/万字符的价格计费。 图表4：MiniMax开放平台语音大模型接口计费标准 2、Talkie星野：MiniMax旗下沉浸式AI内容社区，定制化智能体聊天伙伴。用户可以与虚拟人进行聊天互动，而与智能体的持续对话会让智能体更加精准预测用户需求。在操作上，星野提供了丰富的自定义功能，用户可以创建自己的智能体，选择不同的音色和人物形象，以及自定义对话风格。 图表5：星野产品界面 3、海螺AI：MiniMax面向C端的AI生产力工具，致力于成为每一个人的AI伙伴。用户可以提出问题获得详尽的解决方案，上传文件整理成摘要笔记，粘贴网址抽取文章核心要点，甚至模拟语音通话和AI外教练习口语。 图表6：海螺AI产品界面 创始人为商汤前副总裁闫俊杰，核心团队技术背景强大。1）在核心团队方面，MiniMax稀宇科技创始人为前商汤科技副总裁、商汤科技研究院副院长、通用智能技术负责人闫俊杰。2）在MiniMax的团队构成中，亦约三分之一的成员持有世界顶尖实验室的博士学位，这些成员的专业涵盖了自然语言处理、计算机图形学等多个重要领域的专业人才。 在由杰出专家组成的核心团队的引领下，MiniMax稀宇科技已成为国内少数几家掌握文本、语音和视觉三模态融合技术的公司之一，拥有通用大模型引擎的能力，并实现了产品全链路的成熟运作。 闫俊杰，MiniMax联合创始人，前商汤科技副总裁、通用智能技术负责人，也曾担任商汤研究院副院长：2015年博士毕业于中科院自动化所，此前在商汤科技负责搭建深度学习的工具链和底层算法，以及通用智能的技术发展。此外，他还搭建了商汤的人脸识别和智慧城市相关的技术体系。在深度学习和计算机视觉领域，闫俊杰发表顶级会议和期刊论文100余篇，GoogleScholar引用近30,000次，h-index达75。 估值超25亿美金，新一轮为阿里巴巴领投，验证技术地位。从融资能力来看，根据彭博社于2024年3月5日报道，MiniMax已从阿里巴巴和其他投资者处获得资金，估值超过25亿美元。 图表7：MiniMax历史融资 二、技术前瞻全面转向MoE，超越GPT3.5、追赶GPT4 GPT引爆AIGC热潮，全球顶尖技术企业蜂拥而至。1）2022年11月，OpenAI首次推出ChatGPT的demo版本，并在发布的五天之内吸引了过百万用户。截止2024年3月底，已更新至GPT-4的大模型拥有超1.8亿用户，而OpenAI的官网每月流量约16亿次访问。2）紧跟着GPT的突破，全球科技大厂高强度投入大模型构建，行业顶尖模型包括但不限于谷歌Gemini（2024年2月发布Gemini1.5版）、Anthropic的Claude（2024年3月更新至Claude3）等。在此同时，以Meta的Llama（2024年4月更新至Llama3）和Minstral的Mixtral 8x7B为代表的开源模型也在快速迭代。 图表8：GPT用户数高速增长 目前业内大模型主要包括两种流派，Dense与MoE。1）在传统的Dense模型中，所有的参数都会对所有的输入数据进行处理。2