计算机行业重大事项点评Claude3点评：Anthropic第三代AI模型

证券研究报告 计算机2024年03月12日 计算机行业重大事项点评 Anthropic第三代AI模型——Claude3点评 华创证券研究所 证券分析师：吴鸣远 邮箱：wumingyuan@hcyjs.com执业编号：S0360523040001 行单业击基此本处数输据入文字。相对指数表现 2023-03-13~2024-03-12 18% -2% -21%23/0323/0523/0823/1023/1224/03 -41% 计算机 沪深300 相关研究报告 《两会系列专题二：数智两会：低空提速，促新质生产力发展》 2024-03-12 《计算机行业周报（20240304-20240308）：数智两会：AI+赋能产业智能升级》 2024-03-10 《AI+专题系列点评（七）：Gemini、Sora、V-JEPA三大模型对比点评》 2024-03-08 事项： 2024年3月4日，Anthropic发布Claude3系列模型，公司称这是迄今为止速度最快、功能最强大的人工智能模型。 评论： Claude3包含三个模型Sonnet、Opus、Haiku。其中Opus能力最强但成本最高；Sonnet，则是性能与速度平衡的绝佳选择，相较之下，Opus的性能虽然更强，但响应的速度模型却和旧模型大致相同；Haiku能力最弱，却是成本效益的轻量级选择。 % 1M 6M 12M 绝对表现 22.9% -12.6% -14.7% 相对表现 16.0% -8.2% -5.4% Claude3在克服幻觉上有大幅度进步。Claude3Opus在100QHard评测的准确率达到46.5%，是Claude2的近2倍；在Multi-factual评测中准确率提高到62.8%，而错误回答的比例减半。 Claude3在拒答率上做了优化。其Opus的错误拒答率从Claude2的35%降到了9%。通过人工反馈优化，Opus能更好判断什么是真正有害的，什么是可以回答的。 投资策略：Claude3具备长文本处理能力，实现多项突破，有望带动AI技术创新和商业世界的发展，涉及算力、大模型以及AI+应用（绘图、视频）等领域。建议关注：1）算力基础：海光信息、寒武纪、龙芯中科；2）服务器：中 科曙光、浪潮信息、紫光股份、高新发展、神州数码、拓维信息等；3）大模型：科大讯飞、商汤、三六零等；4）AI+应用：金山办公、万兴科技、美图、虹软科技、当虹科技。 风险提示：多模态技术发展不及预期、算力基础设施建设不及预期、AI应用需求不及预期。 目录 一、Claude3性能行业卓越领先4 （一）Opus：AI模型的领衔之作4 （二）Sonnet：性能与速度平衡的绝佳选择5 （三）Haiku：成本效益的轻量级的选择6 二、Claude3三大亮点6 （一）幻觉克服能力增强6 （二）缩小长文本理解准确率与人类的差距7 （三）拒答率大幅下降8 三、投资策略8 四、风险提示8 图表目录 图表1Claude3性能行业卓越领先4 图表2Claude3Opus性能最强5 图表3Sonnet响应速度快于Opus6 图表4Claude3Haiku成本效益更高6 图表5Claude3准确性提高7 图表6Claude3上下文窗口测试召回率近乎完美8 一、Claude3性能行业卓越领先 Claude3性能行业卓越领先。Anthropic推出Claude3系列模型，包括Claude3Opus、Claude3Sonnet和Claude3Haiku。官方公布的数据中，无论是在MMLU这样的通用推理任务，还是MATH、APPS等数学和编程任务，或是RACE-H、QuALITY等阅读理解和常识问答数据集测试，Claude3都取得了行业领先成绩，多次超越GPT-4、PaLM、Gemini 1.0Ultra等强劲模型，展现了顶尖的综合能力。图表1Claude3性能行业卓越领先 资料来源：Anthropic官网 （一）Opus：AI模型的领衔之作 Claude3Opus全面超越GPT-4等系列大模型。官方发布的数据显示，在知识测试MMLU、推理测试GPQA、基础数学测试GSM8K等一系列基准测试中，Claude3Opus模型展 现了卓越的性能，其每一项得分都全面超越了GPT-4以及Gemini1.0Ultra。Anthropic宣称，Claude3Opus为Claude3系列模型的最强版本，具有接近人类的理解能力，能够游刃有余地应对开放式问题，并巧妙解决各种复杂挑战。 图表2Claude3Opus性能最强 资料来源：Anthropic官网 （二）Sonnet：性能与速度平衡的绝佳选择 Claude3Sonnet性价比最高。在大多数任务中，Sonnet的速度是Claude2和Claude2.1的2倍，且在智能处理能力上也实现了质的飞跃。擅长需要迅速响应的任务，例如知识检索和销售自动化。相较之下，Opus的性能虽然更强，但响应的速度模型却和旧模型大致相同。 图表3Sonnet响应速度快于Opus 资料来源：Anthropic官网 （三）Haiku：成本效益的轻量级的选择 Claude3Haiku可作为轻量级的选择。Haiku模型响应速度最快且可作为轻量级选择。它能在不到三秒的时间内快速消化arXiv上的长达约10000个词汇的高密度研究论文及其图表。官方测试结果显示，Haiku模型的性能水平介于GPT-4和GPT-3.5之间，然而在成本效益上，Haiku模型的性价比远超GPT-4。 图表4Claude3Haiku成本效益更高 产品名称 Input($/M) Output($/M) 结论 Claude3Opus 15 75 Opus相较GPT-4Turbo更贵 GPT-4Turbo 10 30 Claude3Sonnet 3 5 无对应GPT系列比较 Claude3Haiku 0.25 1.25 Turbo相较GPT-3.5Turbo更便宜 GPT-3.5Turbo 0.5 1.5 资料来源：Anthropic官网、OpenAI官网、华创证券 二、Claude3三大亮点 （一）幻觉克服能力增强 Claude3在克服幻觉上有大幅度进步。Anthropic开发了几个内部评测来考察模型回答的事实准确程度，并与标准做对比。Claude3Opus在100QHard评测（包含一些晦涩的开放式问题）的准确率达到46.5%，是Claude2的近2倍；在Multi-factual评测中准确率提高到62.8%，而错误回答的比例减半。模型更多地表示“不确定”而不是给出错误信息。模型很大程度上学会了“不确定”的中间状态，而不是给出生编硬造的错误答案。 图表5Claude3准确性提高 资料来源：Anthropic官网 （二）缩小长文本理解准确率与人类的差距 Claude3长文本理解能力显著增强。QuALITY阅读理解基准测试是平均5000个token的长篇章，远超一般模型的输入长度。Claude3Opus在1-shot下达到90.5%的准确率，在0-shot下也有89.2%，相比人类93.5%的表现，Claude3已大大缩小了在长文本理解准确率与人类的差距。同时，Claude3窗口长度再次翻倍，达到了200k，并且接受超过100万Tokens的输入,在上下文窗口的测试中，Claude3Opus实现了接近完美的召回率，准确率超过99%。 图表6Claude3上下文窗口测试召回率近乎完美 资料来源：Anthropic官网 （三）拒答率大幅下降 Claude3在拒答率上做了优化。其在无害问题上拒答率大幅降低，而在有害问题上仍保持高拒答率。Opus的错误拒答率从Claude的35%降到了9%。通过人工反馈优化，Opus能更好判断什么是真正有害的，什么是可以回答的。 三、投资策略 Claude3具备长文本处理能力，实现多项突破，有望带动AI技术创新和商业世界的发展，涉及算力、大模型以及AI+应用（绘图、视频）等领域。建议关注：1）算力基础：海光信息、寒武纪、龙芯中科；2）服务器：中科曙光、浪潮信息、紫光股份、高新发展、神州数码、拓维信息等；3）大模型：科大讯飞、商汤、三六零等；4）AI+应用：金山办公、万兴科技、美图、虹软科技、当虹科技。 四、风险提示 多模态技术发展不及预期、算力基础设施建设不及预期、AI应用需求不及预期。 计算机组团队介绍 首席研究员、组长：吴鸣远 上海交通大学硕士，曾任职于东方证券、兴业证券研究所，所在团队于2020—2022年连续三年获得新财富最佳分析师第三名，2023年加入华创证券研究所。 研究员：胡昕安 工学硕士，曾任职于海康威视，2023年加入华创证券研究所。助理研究员：梁佳 上海财经大学经济学硕士，2022年加入华创证券研究所。 助理研究员：张宇凡 香港大学会计学硕士。2023年加入华创证券研究所。 华创证券机构销售通讯录 地区 姓名 职务 办公电话 企业邮箱 北京机构销售部 张昱洁 副总经理、北京机构销售总监 010-63214682 zhangyujie@hcyjs.com 张菲菲 北京机构副总监 010-63214682 zhangfeifei@hcyjs.com 刘懿 副总监 010-63214682 liuyi@hcyjs.com 侯春钰 资深销售经理 010-63214682 houchunyu@hcyjs.com 过云龙 高级销售经理 010-63214682 guoyunlong@hcyjs.com 蔡依林 资深销售经理 010-66500808 caiyilin@hcyjs.com 刘颖 资深销售经理 010-66500821 liuying5@hcyjs.com 顾翎蓝 资深销售经理 010-63214682 gulinglan@hcyjs.com 车一哲 销售经理 cheyizhe@hcyjs.com 深圳机构销售部 张娟 副总经理、深圳机构销售总监 0755-82828570 zhangjuan@hcyjs.com 汪丽燕 高级销售经理 0755-83715428 wangliyan@hcyjs.com 张嘉慧 高级销售经理 0755-82756804 zhangjiahui1@hcyjs.com 董姝彤 销售经理 0755-82871425 dongshutong@hcyjs.com �春丽 高级销售经理 0755-82871425 wangchunli@hcyjs.com 上海机构销售部 许彩霞 总经理助理、上海机构销售总监 021-20572536 xucaixia@hcyjs.com 官逸超 上海机构销售副总监 021-20572555 guanyichao@hcyjs.com 黄畅 上海机构销售副总监 021-20572257-2552 huangchang@hcyjs.com 吴俊 资深销售经理 021-20572506 wujun1@hcyjs.com 张佳妮 资深销售经理 021-20572585 zhangjiani@hcyjs.com 蒋瑜 高级销售经理 021-20572509 jiangyu@hcyjs.com 施嘉玮 高级销售经理 021-20572548 shijiawei@hcyjs.com 朱涨雨 高级销售经理 021-20572573 zhuzhangyu@hcyjs.com 李凯月 高级销售经理 likaiyue@hcyjs.com 易星 销售经理 yixing@hcyjs.com 张玉恒 销售经理 zhangyuheng@hcyjs.com 广州机构销售部 段佳音 广州机构销售总监 0755-82756805 duanjiayin@hcyjs.com 周玮 销售经理 zhouwei@hcyjs.com �世韬 销售经理 wangshitao1@hcyjs.com 私募销售组 潘亚琪 总监 021-20572559 panyaqi@hcyjs.com 汪子阳