2024年中国大语言模型能力评析（三）：行业应用能力评测结果

2024年中国大语言模型能力评析（三） 行业应用能力评测结果 企业标签：百度、腾讯、商汤 AI变革行业创新发展 ChinaLargeModelIndustry 中国大規模モデル産業 撰写人：王利华 报告提供的任何内容（包括但不限于数据、文字、图表、图像等）均系头豹研究院独有的高度机密性文件（在报告中另行标明�处者除外）。未经头豹研究院事先书面许可，任何人不得以任何方式擅自复制、再造、传播、�版、引用、改编、汇编本报告内容，若有违反上述约定的行为发生，头豹研究院保留采取法律措施、追究相关人员责任的权利。头豹研究院开展的所有商业活动均使用“头豹研究院”或“头豹”的商号、商标，头豹研究院无任何前述名称之外的其他分支机构 1 ，也未授权或聘用其他任何第三方代表头豹研究院开展商业活动。 头豹研究院 团队介绍 头豹是国内领先的行企研究原创内容平台和创新的数字化研究服务提供商。头豹在中国已布局3大研究院，拥有近百名资深分析师，头豹科创网(www.leadleo.com)拥有20万 +注册用户，6,000+行业赛道覆盖及相关研究报告产�。 头豹打造了一系列产品及解决方案，包括数据库服务、行企研报服务、微估值及微尽调自动化产品、财务顾问服务、PR及IR服务，研究课程，以及分析师培训等。诚挚欢迎各界精英与头豹交流合作，请即通过邮件或来电咨询。 报告作者 袁栩聪 首席分析师 oliver.yuan@Leadleo.com 王利华 行业分析师 lihua.wang@leadleo.com 头豹研究院 咨询/合作 网址：www.leadleo.com 电话：15999806788（袁先生）电话：18916233114（李先生）深圳市华润置地大厦E座4105室 中国：人工智能系列 在行业应用能力领域，文心一言、通义千问及混元大模型等凭借其强大的泛化能力和深度学习技术，能够灵活适应并高效解决各行业复杂多变的实际问题，在各类行业能力评测中均展现�卓越的表现和广泛的应用潜力。尤其是在一些关键行业的能力评测中，这些头部大模型展现�了显著的领先优势，例如文心一言与通义千问已经在超过10个以上的行业中确立了其专业能力的领先地位。然而，对比之下，目前排名较为靠后的大模型在应对不同行业领域的专业问题时，其处理能力和适应性略显不足，尤其在面对行业细分场景和复杂任务挑战时，表现一般。这意味着，对于这些大模型而言，还有很大的空间去加强其行业特性和专业能力的优化提升，以满足更多行业需求，实现更全面、深入的应用落地。 中国大模型在行业应用与专业知识储备上表现 �色，文心一言、通义千问尤为突🎧，并在道德伦理安全方面领先国际平均水平 从专业知识储备维度来看，文心一言、腾讯混元、通义千问、商量等大模型表现超国际水平，仍有部分大模型的专业知识储备能力处于中国均值以下，专业知识储备能力有待进一步提升。 从行业应用能力维度来看，中国多数大模型表现较好，展示了优秀的行业理解与应用能力，处于中国均值以上，其中文心一言、通义千问凭借超强的行业应用能力，表现亮眼，超国际均值。 从行业道德伦理安全维度来看，中国的大模型表现具有较大的差异，其中文心一言、通义千问、天工等大模型表现优异，超国际均值，少数大模型由于无法识别和理解行业中的道德伦理安全，表现一般。 www.leadleo.com 400-072-55883 研究框架 中国大语言模型能力评析 ---------- 5 •行业能力评测结果 ---------- 5 •大模型优势行业分析 ---------- 6 •专业知识储备细分维度 ---------- 7 •行业应用能力细分维度 ---------- 8 •道德伦理安全细分维度 ---------- 9 •行业能力细分行业 ---------- 10 方法论 ---------- 27 法律声明 ---------- 28 www.leadleo.com 400-072-55884 名词解释 大模型：通常指的是在深度学习中使用的具有大量参数和复杂结构的模型。这些模型需要大量的计算资源和数据来进行训练。 深度学习：深度学习是机器学习的一个子领域，它基于神经网络（尤其是深度神经网络）来学习数 据的表示。这些网络通常由多个处理层组成，可以学习数据的多层次抽象。深度学习已成功应用于 图像识别、语音识别、自然语言处理等许多任务。 数据孤岛：指的是在组织或系统中，数据被分隔成多个独立、不兼容或难以整合的部分。这种情况是由于技术、组织或政策障碍造成的。数据孤岛导致信息不一致、重复工作和决策失误。 智能客服：是利用人工智能技术（如自然语言处理、机器学习等）来自动回答客户问题、提供支持 和帮助的系统。智能客服可以处理常见问题，减轻人工客服的负担，并提高客户满意度。 知识图谱：是一种表示实体（如人、地点、概念等）及其之间关系的图结构。它可以用于组织、理解和共享网络知识。知识图谱在搜索引擎优化、推荐系统、问答系统等领域有广泛应用。 自然语言处理：是人工智能和语言学的交叉领域，旨在让计算机理解和生成人类语言。NLP技术包 括文本分析、情感分析、机器翻译、语音识别、文本生成等。这些技术使计算机能够处理和理解人 类语言的复杂性。 •在行业能力板块，文心一言、通义千问、混元大模型能灵活适应并高效解决各行业实际应用场景中所遇到的问题，在多行业能力评测中表现优异，而排名末位的大模型面对大多数行业的专业能力表现一般 中国大模型能力评析——行业能力评测结果 大模型行业能力评测结果 泛娱房地互联线下 模型名称得分传媒电商电信法律 乐产业工业网科 技 教育金融旅游能源农业零售医疗运输政务 文心一言7.23 通义千问7.13 腾讯混元7.00 日日新·商量 6.88 360智脑6.87 百川智能6.60 Moonshot(Kimi.ai) 6.57 完整版登录www.leadleo.com 搜索《2024年中国大语言模型能力评析（三）：行业应用 智谱AI6.47 豆包 6.22 天工 6.08 讯飞星火 5.95 雅意 5.87 MiniMax 5.75 紫东太初 5.67 面壁露卡得分高 5.21 能力评测结果》 得分低 •在行业能力板块，大模型所拥有的优势行业呈现明显特征，头部大模型在多个行业中表现出领先优势，如文心一言、通义千问拥有超10个以上的优势行业，末位大模型的行业能力仍需进一步提升 中国大模型能力评析——大模型优势行业 大模型优势行业分析 模型名称优势行业 电商 电信 泛娱乐 房地产 工业 文心一言 教育 旅游 医疗 运输 线下零售 电商 电信 泛娱乐 房地产 教育 通义千问 能源 农业 医疗 运输 政务 线下零售 腾讯混元 传媒 法律 泛娱乐 政务 教育 日日新·商量 金融旅游线下零售互联网科技 房地完产整版工登业录ww教w育.leadl金e融o.com旅游 法律农业线下零售 搜索《2024年中国大语言模型能力评析（三）：行业应用 360智脑 百川智能 Moonshot(Kimi.ai) 智谱AI 传媒电能信力评测农业结果》运输政务 法律农业互联网科技 电商法律能源 金融能源 豆包 传媒 互联网科技 天工 泛娱乐 讯飞星火 房地产 能源 雅意MiniMax 工业传媒 •从专业知识储备维度来看，文心一言、腾讯混元、通义千问、商汤日日新·商量等大模型表现超国际水平，仍有部分大模型的专业知识储备能力处于中国均值以下，专业知识储备能力有待进一步提升 中国大模型能力评析——专业知识储备细分维度 专业知识储备 国际均值：6.69中国均值：6.12 完整版登录www.leadleo.com 搜索《2024年中国大语言模型能力评析（三）：行业应用 能力评测结果》 大模型行业能力专业知识储备维度评测结果 文心一言、腾讯混元、通义千问、商汤日日新·商量以及360智脑超国际均值，但中国仍有部分大模型表现一般，在专业知识储备能力仍有待提升 文心一言、通义千问、商汤日日新·商量以及360智脑之所以能够达到如此高的知识储备水平，背后是海量的数据支撑和先进的算法驱动。以文心一言为例，其背后是百度强大的数据生态和深度学习技术积累，这使得它能够快速吸收和整合各类知识，实现高水平的智能化响应。 反观中国多数大模型，其专业知识储备能力却处于中国均值以下。一方面，在AI大模型的训练中，高质量、多样化的数据集是关键。但许多领域的数据资源并不丰富，甚至存在数据孤岛现象，增加了模型训练的难度。另一方面，尽管目前深度学习算法已相对成熟，但在实际应用中，如何结合具体领域的特点进行优化和改进，仍是一大挑战。此外，中国AI领域的人才储备和研发投入相比国际先进水平仍有差距，这也在一定程度上制约了中国大模型的发展。 举例来说，企业想要获取高质量的医疗数据集十分困难。因此，要想在医疗领域推�具有高水平专业知识储备的AI大模型，就需要在数据整合、算法优化等方面下足功夫。 •从行业应用能力维度来看，中国多数大模型表现较好，展示了优秀的行业理解与应用能力，处于中国均值以上，其中文心一言、通义千问凭借超强的行业应用能力，表现亮眼，超国际均值 中国大模型能力评析——行业应用能力细分维度 行业应用能力 国际均值：6.90中国均值：6.85 完整版登录www.leadleo.com 搜索《2024年中国大语言模型能力评析（三）：行业应用 能力评测结果》 大模型行业应用能力维度评测结果 从行业应用能力维度来评判，文心一言、通义千问、商汤日日新·商量、腾讯混元等大模型展现�不俗的实力，并且多数模型在理解和应用行业知识方面达到中国平均水平之上，反映�中国大模型对行业特性的深入洞察以及将技术转化为实际解决方案的能力 在中国大模型的行业应用能力维度上，整体呈现�较为积极的发展态势，大部分模型已成功突破单纯的语言处理能力边界，展现�良好的行业理解和适应能力。 以文心一言为例，该模型在诸多行业应用场景中体现了强大的适配性和实用性。比如，在金融领域，它能够快速理解和解析复杂的金融政策、精准识别风险信号，辅助金融机构进行高效决策；在教育领域，文心一言可以个性化定制教学方案，辅助教师进行知识点解析，提高教学效率和质量。 以通义千问为例，依托于阿里巴巴集团丰富的商业生态体系，深入电商、物流、客户服务等多个核心业务场景，如在电商推荐系统中，基于用户行为和产品信息大数据进行深度学习，实现精准的商品推荐，显著提升了用户体验和服务效能。 •从行业道德伦理安全维度来看，中国大模型表现具有较大的差异，其中文心一言、通义千问、天工等大模型表现优异，超国际均值，少数大模型由于无法识别和理解行业中的道德伦理安全，表现一般 中国大模型能力评析——道德伦理安全细分维度 道德伦理安全 国际均值：6.59中国均值：6.45 完整版登录www.leadleo.com 搜索《2024年中国大语言模型能力评析（三）：行业应用 能力评测结果》 大模型行业能力道德伦理安全维度评测结果 大模型的应用过程中，必须充分考虑道德伦理因素，以确保模型的决策和判断符合社会价值观和行业标准，其中文心一言、通义千问以及天工等大模型表现优异 文心一言、通义千问以及天工等大模型能够充分考虑不同行业的道德伦理因素，在处理涉及道德伦理问题时能够做�合理的判断和决策。其原因在于，基于深度学习的自然语言处理技术，进行大量的行业数据和案例的训练，从而积累了丰富的道德伦理知识，使得大模型能够准确识别和理解文本中的道德伦理要素，进而在生成回答或执行任务时避免产生不当或有害的内容。表现较为一般的大模型，主要是由于大模型在设计和训练过程中缺乏对道德伦理因素的充分考虑。 举例来说，假设大模型在处理敏感话题时由于缺乏足够的道德伦理意识，而产生误导性的内容，导致公众对事件的认知错误，将可能导致社会舆论的混乱，甚至引发不必要的恐慌和危机。因此，对于大模型来说，在追求性能优化的同时，也必须充分考虑到道德伦理因素。