2023人工智能大模型体验报告3.

人工智能大模型体验报告3.0 新华社研究院中国企业发展研究中心 2023年11月 报告回顾：大模型产品市场竞争激烈，技术不断进步 三次测评概览 3.0版本 2.0版本 1.0版本 注：气泡越大代表实际测评得分越高，分数越靠前：空白表示速板本下未测试 从1.0版本到3.0版本的测评过程中，参与厂商的分数变化反映了大模型产品竞争的激烈和技术的进步。可以明显观察到一些厂商在持续进步，而些新的厂商也在逐渐薪露头角。 在1.0版本中（5月测评），ChatGPT系列占据领先位置，其中ChatGPT4表现最佳，紧随其后的是ChatGPT3.5，百度文心一言位于整体第 三位置，展现出了较强的实力。这一阶段的科大讯飞星火和阿里通义干问也进入了整体前五，国内前三，表现不俗。 到了2.0版本（8月测评），专注于国内市场，科大讯飞星火实现了跨越式发展，整体表现亮眼。百度文心一言、商汤商量与智谱CHATGLM也取得优异的成绩。同时，360智脑和昆仑万维天工也进入了前五。这些变化展示了厂商之间的激烈竞争和技术进步的速度。 到了3.0版本（11月测评），科大讯飞星火依旧日保持领先，商汤商量紧随其后，稳定发挥。值得一提的是，澜舟科技孟子取得了显著进步，字节跳动豆包作为新面孔，在这次评估中薪露头角。 纵观这三个版本的发展，可以看出一些规律，首先是竞争日益激烈，厂商之问的得分变动频繁，这体现了大模型产品市场的活跃和竞争激烈程度。其次，技术进步明显，从1.0到3.0版本，各个厂商的产品在性能和功能上都有显著提升。最后，新面孔的涌现也展示了这个行业的活力和吸引力，新的厂商不断加入竞争，推动了大模型产品的发展。 目录01 大模型产品测评综述 ·大模型产品现状与进程 3.0版本大模型测评规则 02大模型厂商整体测评 3.0版本大模型综合指数 3.0版本测评细分维度指数及评述 测评题目展示 03厂商最佳实践案例 厂商优秀案例展示 01.大模型产品测评综述 送代风潮之下，大模型产品如何迅速适应并引领市场变革 1.大模型更新迭代速度日新月异，OpenAI2022年11月发布了GPT3.5，2022年3月就发布了GPT4，参数规模成倍增长，2023 年6月百度发布了心一言3.5，仅仅4个月之后百度支发布了文心一言4.0，基础模型全面升级，其他厂商的产品也在不断升级送代，大模型的发展速度可请“日新月异”。 2．虽然大模型的性能不断提升，但是大模型在快速发展的同时也面临着一些问题一 不稳定：在GPT4上线初期，有大量用户反馈大模型的回答质量有所下降，尤其在程序生成方面，GPT4生成的代码时常出 现错误。OpenAl开发者推广大使LoganKilpatrick也坦言，由于大模型本身存在不稳定性，因此对于相通的提示词，大 模型存在回答前后不一致的情况， ，幻觉：大模型仍然具有一定局限性，不是完全可靠的，会出现“幻觉事实并犯推理错误。 安全：安全是重中之重。在模型训练、模型线上推理服务、模型安全测试、模型训练过程对齐、模型生成内容等方面的安全合规能力需要持续加强 3.市场需求也在发生变化，ChatGPT上线之初更多的人还是把它当成对话工具，但是不久ChatGPT的功能就得到深度挖掘，如今 各个领域的内容创作，以及和行业细分领域深度结合的应用越来越多，市场对于大模型的需求也随着用户所在行业的变化而不 断发生变化。 历时半年，大模型测评体系再次升级，助力持续发展之路 从历史视角观察，测评1.0与2.0阶段代表着大模型产品的初期评测阶段，主要基于小规模问题集进行评测。这种评测方式在初期对于了解大模型产品的基本性能具有一定的价值。然而，随着时间的推移和技术的进步，课题组发现在经过这两次测评后，众多厂商开始根据测评题目进行定向优化。通过针对测评数据集特定调整，以获取相对较好的排名 此次推出的大模型评测，其核心目标是获取客观、真实的产品结果，并希望通过评测向客户反馈产品真实体验状况，并推动产品的实际进步。针对目前市场上出现的问题，研究团队认为，巫须对评测方式进行优化，确保评测能够全面反馈产品现状。为确保评测能够全面反馈产品现状，课题组实施了以下策略来调整和优化评测体系： 评估维度立体化主观评价融合客观结果指标随市场情况动态变动 多维度全面考察，立体展现模型性能避免单一指标偏颜。从数据准确性模型稳定性、到算法效率，全方位、 多角度深入评估，实现真实且全面的 既注重客观数据衡量的精准性，又兼随着市场环境的变迁和技术进步，及顾用户主观感受的真实性，以用户为时对评估指标进行更新与调整，确保中心，让产品的优质体验真正落地，评估体系始终保持与市场需求的紧密 性能展现，助推质量提升。关联。 本次评测规则（1/2） 基于优化策略，新华社研究院中国企业发展研究中心正式推出全新的大模型评测3.0版本。此次升级在多方面都呈现出显著的提升和改进：1．增加了厂商技术维度和潜力评估。在评测过程中，不仅考虑模型产品的实际表现，还深入评估厂商的技术实力和未来发展潜 力。用三维视角更全面的观察厂商，体现出厂商在技术和市场方面的综合实力。2．分数评估更加客观：本次测评使用机器自动化流程进行第一轮打分，再辅以专家团队进行复核，避免了一些主观因素。 3.题库数量扩充。在3.0版本中，题库扩充到了1000道，并精选其中的400道进行实际问答测试。大大提升了评测的广度和深 度，能更准确地反映模型在不同场景和问题下的实际表现。4.3.0版本在总分计算方式上也做了调整。之前版本的总分经过加权处理，而3.0版本取消了加权，直接展示真实得分。使得评 测结果更为直观，也更能真实反映模型的性能。 5．专家团再次进行了升级。新的专家团队在经验和专业度上都有了提升，专业判断和建议将为评测提供更坚实的支撑 本次评测规则(2/2) 评测大模型产品技术&潜力具体题目打分规则 评估指标 细分维度包括基础能力、智商、情商以及工具提效四个部分 级指标二级指标三级指标分数开故型问题封闭式问题 易用性 平台性能灵活性 问题答案较为完美，内容可在答案正确且有相关5分实际场景中直接使用解读 技术实力 安全性能 反应速度 数据安全 4分基本可用，可用在实际场景中使 答案正确 稳定性 模型可解释性透明性、稳定性 实时性能数据实时性 社会认可度用户接受度 调整可用，但需人工进行调整答案错误，但有推3分后方可使用理过程 大略可用，需要较多人工调整 2分方可使用 创新能力新应用场景 发展潜力企业商业模型 1分不可用，答非所问、语言不通 理过程 市场前景企业战略目标60无法作答答案错误，没有推技术团队能力 注：本次测评时间为2023年10月25日-2023年11月6日 02.大模型厂商整体测评 主流大模型综合指数3.0 智谱AI-ChatGLM,1729 阿里-通义干间，1634科大讯飞-星火，1775 腾讯-混元.1609 商汤-商量，1746 技术为王未来领袖 技术实力 字节跳动豆包1710 昆仑万维-天工，1573淘舟科技-孟子，1719 360-360智脑1711 中科闻歌-推意，1511 中规中矩潜力无限 发展潜力 注：纵坐标代表技术能力，分数越高技术实力越强：横坐标代表发展潜力，分数越高代表潜力越大：横纵坐标位置以圆心为准，气泡图大小（图中数字）为测试题目实际得分，但基于评测条件、评测时间等限制，本次评测最终结果不可避免存在一定主观性，未来将进一步优化完善评测模型，提供更精确结果， 主流大模型综合指数3.0解析 整体而言，大模型厂商在技术实力上呈现出百家争鸣态势。不同厂商在产品特点和优势上各有干秋。一些厂商在安全性能上表现出色，通过加强模户需求，提升用户体验 ，技术实力方面：在当下的大模型技术领域，厂商之间的技术博奔尤为激烈。每个厂商都努力在模型的算法、架构、性能等各方面导求突破。在本次评估中，科大讯飞依赖其在语音技术领域的长期积累，为大模型注入了丰富的语音交互能力，商汤则发挥其在计算机视觉领域的专长，使得其大模型在图像处理和识别上具备卓越性能，智谱AI的技术能力也不容小靓，其开源的“GLM-130B"和“ChatGLM-6B”等模型，在行业 内赢得了广泛认可，不仅具备很强的语言理解和生成能力，还能有效地处理多轮对话和复杂任务。 发展潜力方面：发展潜力是决定一个厂商能否持续领跑的关键因素。虽然字节跳动起步相对较晚，但其产品的用户黏性和活跃度都证明了其有着巨大的成长潜力。此外，润舟科技然在市场上的声量相对较小，但其专业性和针对性都为其在未来的细分市场中赢得了有利地位。 实际测评结果方面：本次的实际测评结果是对各大厂商技术实力和市场策略的一次检验，科大讯飞再次表现亮眼，这再次证明了科大讯飞在大模型技术领域积淀深厚，商汤和智谱AI紧随其后，本次得分结果不仅仅是对其技术能力的认可，更是对其在大模型领域持续创新和务力的反映。 3.0版本主流大模型产品测试表现 2000 1800 1600 1400 1200 1000 800 600 400 200 0 科大讯飞-星火商汤-商量智谱AI-ChatGLM润舟科技-孟子360-360智字节跳动豆包阿里-通义千间腾讯-混元昆仑万维-天工中科闻歌-雅意 ■总计 1775 1746 1729 1719 1711 1710 1634 1609 1573 1511 ■基础能力 419 392 415 403 398 417 350 389 351 337 ■智商 393 392 391 391 385 350 373 312 308 285 ■情育 491 498 488 483 481 490 489 495 487 470 ■工具提效 472 464 435 442 447 453 422 413 427 419 ■总计■基础能力=智商■情商■工具提效 注：基于评测条件、评测时间等限制，本次评测最终结果不可避免存在一是主观性，未来将进一步优化壳善评测模型，提供更精确结果， 基础能力指数及述评 基础能力描述AI大模型基础能力指数 在基础能力部分，科大讯飞星火表现最为抢眼，能够准确地理解指令，并且能够生成图像： 字节跳动豆包同样能较为准确地理解指令并且完 成部分生产图像的指令： 智谱AICHATGLM和润舟科技孟子都能较为准确 地理解指令，表现优良：360智脑、商汤商量和腾讯混元存在对于部分实 无法进行校准的问题，部分过程并未展示，导致 无法判断错误回答底层逻辑： 昆仑万维天工、阿里通义干问和中科闻歌雅意对于部分题目无法进行回答，且理解不够准确，有 待提升推理逻辑等能力。 注：基于评测条件、评测时间等限制，本次评测最终结果不可避免存在一定主观性，未来将进一步优化完善评测模型，提供更精确结果， 基础能力相关问题 假如我是一个5岁的儿童，请向我解释为什么星星会发光， 家案例展示 好的，小朋友。你知道夜晚的时候，我们点蜡烛，蜡烛会发出亮光吗？星星其实就像是天空的小蜡烛，它们里面有一种特别的 科大讯飞-星火→东西在“烧”，当它“烧”的时候，就会发出亮亮的光，所以每当夜晚，我们看上去，就可以看到许多亮亮的星星在天空中闪 烁啦！ 你知道太阳吗？太阳是一个非常大非常热的球，它会发出非常明亮的光。星星和太阳有点像，它们也是由气体和尘埃组成的球， 字节跳动-豆包但是星星比太阳小很多很多。量然星星比太阳小，但是它们也会发出光。这是因为星星里面有很多很多的原子，这些原子在不断地运动和碰撞，产生了能量，这些能量会让量星发出光来，就修灯泡里面的灯丝一样，所以，当我们在夜晚右到天上的星量 时，其实是看到了它们发出的光，这些光穿过了宇宙中的空气，最后到达了我们的眼睛，所以我们就能看到它们啦， 智谱AI- 好的，让我们来谈谈为什么星星会发光。你知道吗，星星其实是由气体和尘埃组成的，它们在太空中漂浮。这些气体和尘埃非 ChatGLM内部的温度和压力会不断升高，直到足够高以至于星星开始发光。所以，星星发光的原因是因为它们内部的气体和尘埃在引力作用下聚集在一起，产生了高温和高压，使得星星开始发光。希望这