计算机行业重大事项点评Claude3点评：Anthropic第三代AI模型

证券研究报告 计算机2024年03月12日 计算机行业重大事项点评 Anthropic第三代AI模型Claude3点评 华创证券研究所 证券分析师：吴鸣远 邮箱：wumingyuanhcyjscom执业编号：S0360523040001 行单业击基此本处数输据入文字。相对指数表现 2023031320240312 18 2 21230323052308231023122403 41 计算机 沪深300 相关研究报告 《两会系列专题二：数智两会：低空提速，促新质生产力发展》 20240312 《计算机行业周报（2024030420240308）：数智两会：AI赋能产业智能升级》 20240310 《AI专题系列点评（七）：Gemini、Sora、VJEPA三大模型对比点评》 20240308 事项： 2024年3月4日，Anthropic发布Claude3系列模型，公司称这是迄今为止速度最快、功能最强大的人工智能模型。 评论： Claude3包含三个模型Sonnet、Opus、Haiku。其中Opus能力最强但成本最高；Sonnet，则是性能与速度平衡的绝佳选择，相较之下，Opus的性能虽然更强，但响应的速度模型却和旧模型大致相同；Haiku能力最弱，却是成本效益的轻量级选择。 1M 6M 12M 绝对表现 229 126 147 相对表现 160 82 54 Claude3在克服幻觉上有大幅度进步。Claude3Opus在100QHard评测的准确率达到465，是Claude2的近2倍；在Multifactual评测中准确率提高到628，而错误回答的比例减半。 Claude3在拒答率上做了优化。其Opus的错误拒答率从Claude2的35降到了9。通过人工反馈优化，Opus能更好判断什么是真正有害的，什么是可以回答的。 投资策略：Claude3具备长文本处理能力，实现多项突破，有望带动AI技术创新和商业世界的发展，涉及算力、大模型以及AI应用（绘图、视频）等领域。建议关注：1）算力基础：海光信息、寒武纪、龙芯中科；2）服务器：中 科曙光、浪潮信息、紫光股份、高新发展、神州数码、拓维信息等；3）大模型：科大讯飞、商汤、三六零等；4）AI应用：金山办公、万兴科技、美图、虹软科技、当虹科技。 风险提示：多模态技术发展不及预期、算力基础设施建设不及预期、AI应用需求不及预期。 目录 一、Claude3性能行业卓越领先4 （一）Opus：AI模型的领衔之作4 （二）Sonnet：性能与速度平衡的绝佳选择5 （三）Haiku：成本效益的轻量级的选择6 二、Claude3三大亮点6 （一）幻觉克服能力增强6 （二）缩小长文本理解准确率与人类的差距7 （三）拒答率大幅下降8 三、投资策略8 四、风险提示8 图表目录 图表1Claude3性能行业卓越领先4 图表2Claude3Opus性能最强5 图表3Sonnet响应速度快于Opus6 图表4Claude3Haiku成本效益更高6 图表5Claude3准确性提高7 图表6Claude3上下文窗口测试召回率近乎完美8 一、Claude3性能行业卓越领先 Claude3性能行业卓越领先。Anthropic推出Claude3系列模型，包括Claude3Opus、Claude3Sonnet和Claude3Haiku。官方公布的数据中，无论是在MMLU这样的通用推理任务，还是MATH、APPS等数学和编程任务，或是RACEH、QuALITY等阅读理解和常识问答数据集测试，Claude3都取得了行业领先成绩，多次超越GPT4、PaLM、Gemini 10Ultra等强劲模型，展现了顶尖的综合能力。图表1Claude3性能行业卓越领先 资料来源：Anthropic官网 （一）Opus：AI模型的领衔之作 Claude3Opus全面超越GPT4等系列大模型。官方发布的数据显示，在知识测试MMLU、推理测试GPQA、基础数学测试GSM8K等一系列基准测试中，Claude3Opus模型展 现了卓越的性能，其每一项得分都全面超越了GPT4以及Gemini10Ultra。Anthropic宣称，Claude3Opus为Claude3系列模型的最强版本，具有接近人类的理解能力，能够游刃有余地应对开放式问题，并巧妙解决各种复杂挑战。 图表2Claude3Opus性能最强 资料来源：Anthropic官网 （二）Sonnet：性能与速度平衡的绝佳选择 Claude3Sonnet性价比最高。在大多数任务中，Sonnet的速度是Claude2和Claude21的2倍，且在智能处理能力上也实现了质的飞跃。擅长需要迅速响应的任务，例如知识检索和销售自动化。相较之下，Opus的性能虽然更强，但响应的速度模型却和旧模型大致相同。 图表3Sonnet响应速度快于Opus 资料来源：Anthropic官网 （三）Haiku：成本效益的轻量级的选择 Claude3Haiku可作为轻量级的选择。Haiku模型响应速度最快且可作为轻量级选择。它能在不到三秒的时间内快速消化arXiv上的长达约10000个词汇的高密度研究论文及其图表。官方测试结果显示，Haiku模型的性能水平介于GPT4和GPT35之间，然而在成本效益上，Haiku模型的性价比远超GPT4。 图表4Claude3Haiku成本效益更高 产品名称 InputM OutputM 结论 Claude3Opus 15 75 Opus相较GPT4Turbo更贵 GPT4Turbo 10 30 Claude3Sonnet 3 5 无对应GPT系列比较 Claude3Haiku 025 125 Turbo相较GPT35Turbo更便宜 GPT35Turbo 05 15 资料来源：Anthropic官网、OpenAI官网、华创证券 二、Claude3三大亮点 （一）幻觉克服能力增强 Claude3在克服幻觉上有大幅度进步。Anthropic开发了几个内部评测来考察模型回答的事实准确程度，并与标准做对比。Claude3Opus在100QHard评测（包含一些晦涩的开放式问题）的准确率达到465，是Claude2的近2倍；在Multifactual评测中准确率提高到628，而错误回答的比例减半。模型更多地表示“不确定”而不是给出错误信息。模型很大程度上学会了“不确定”的中间状态，而不是给出生编硬造的错误答案。 图表5Claude3准确性提高 资料来源：Anthropic官网 （二）缩小长文本理解准确率与人类的差距 Claude3长文本理解能力显著增强。QuALITY阅读理解基准测试是平均5000个token的长篇章，远超一般模型的输入长度。Claude3Opus在1shot下达到905的准确率，在0shot下也有892，相比人类935的表现，Claude3已大大缩小了在长文本理解准确率与人类的差距。同时，Claude3窗口长度再次翻倍，达到了200k，并且接受超过100万Tokens的输入在上下文窗口的测试中，Claude3Opus实现了接近完美的召回率，准确率超过99。 图表6Claude3上下文窗口测试召回率近乎完美 资料来源：Anthropic官网 （三）拒答率大幅下降 Claude3在拒答率上做了优化。其在无害问题上拒答率大幅降低，而在有害问题上仍保持高拒答率。Opus的错误拒答率从Claude的35降到了9。通过人工反馈优化，Opus能更好判断什么是真正有害的，什么是可以回答的。 三、投资策略 Claude3具备长文本处理能力，实现多项突破，有望带动AI技术创新和商业世界的发展，涉及算力、大模型以及AI应用（绘图、视频）等领域。建议关注：1）算力基础：海光信息、寒武纪、龙芯中科；2）服务器：中科曙光、浪潮信息、紫光股份、高新发展、神州数码、拓维信息等；3）大模型：科大讯飞、商汤、三六零等；4）AI应用：金山办公、万兴科技、美图、虹软科技、当虹科技。 四、风险提示 多模态技术发展不及预期、算力基础设施建设不及预期、AI应用需求不及预期。 计算机组团队介绍 首席研究员、组长：吴鸣远 上海交通大学硕士，曾任职于东方证券、兴业证券研究所，所在团队于20202022年连续三年获得新财富最佳分析师第三名，2023年加入华创证券研究所。 研究员：胡昕安 工学硕士，曾任职于海康威视，2023年加入华创证券研究所。助理研究员：梁佳 上海财经大学经济学硕士，2022年加入华创证券研究所。 助理研究员：张宇凡 香港大学会计学硕士。2023年加入华创证券研究所。 华创证券机构销售通讯录 地区 姓名 职务 办公电话 企业邮箱 北京机构销售部 张昱洁 副总经理、北京机构销售总监 01063214682 zhangyujiehcyjscom 张菲菲 北京机构副总监 01063214682 zhangfeifeihcyjscom 刘懿 副总监 01063214682 liuyihcyjscom 侯春钰 资深销售经理 01063214682 houchunyuhcyjscom 过云龙 高级销售经理 01063214682 guoyunlonghcyjscom 蔡依林 资深销售经理 01066500808 caiyilinhcyjscom 刘颖 资深销售经理 01066500821 liuying5hcyjscom 顾翎蓝 资深销售经理 01063214682 gulinglanhcyjscom 车一哲 销售经理 cheyizhehcyjscom 深圳机构销售部 张娟 副总经理、深圳机构销售总监 075582828570 zhangjuanhcyjscom 汪丽燕 高级销售经理 075583715428 wangliyanhcyjscom 张嘉慧 高级销售经理 075582756804 zhangjiahui1hcyjscom 董姝彤 销售经理 075582871425 dongshutonghcyjscom 春丽 高级销售经理 075582871425 wangchunlihcyjscom 上海机构销售部 许彩霞 总经理助理、上海机构销售总监 02120572536 xucaixiahcyjscom 官逸超 上海机构销售副总监 02120572555 guanyichaohcyjscom 黄畅 上海机构销售副总监 021205722572552 huangchanghcyjscom 吴俊 资深销售经理 02120572506 wujun1hcyjscom 张佳妮 资深销售经理 02120572585 zhangjianihcyjscom 蒋瑜 高级销售经理 02120572509 jiangyuhcyjscom 施嘉玮 高级销售经理 02120572548 shijiaweihcyjscom 朱涨雨 高级销售经理 02120572573 zhuzhangyuhcyjscom 李凯月 高级销售经理 likaiyuehcyjscom 易星 销售经理 yixinghcyjscom 张玉恒 销售经理 zhangyuhenghcyjscom 广州机构销售部 段佳音 广州机构销售总监 075582756805 duanjiayinhcyjscom 周玮 销售经理 zhouweihcyjscom 世韬 销售经理 wangshitao1hcyjscom 私募销售组 潘亚琪 总监 02120572559 panyaqihcyjscom 汪子阳 副总监 02120572559 wangziyanghcyjscom 江赛专 副总监 075582756805 jiangsaizhuanhcyjscom 汪戈 高级销售经理 02120572559 wanggehcyjscom 宋丹玙 销售经理 02125072549 songdanyuhcyjscom 华创行业公司投资评级体系 基准指数说明： A股市场基准为沪深300指数，香港市场