Claude3技术报告-Claude3模型系列作品、十四行诗、俳句

Claude3模型系列：作品、十四行诗、俳句 人择 抽象的 我们推出Claude3，一个新的大型多式联运型号系列‑Claude3Opus，我们最强大的产品，Claude3Sonnet，它提供技能和速度的结合，以及Claude3Haiku，我们最快且最便宜的型号。所有新模型都具有视觉功能，使它们能够处理和分析图像数据。Claude3系列在基准评估中表现出强劲的性能，并为推理、数学和编码的测量树立了新标准。Claude3Opus在GPQA[1]、MMLU[2]、MMMU[3]等评估中取得了最先进的结果。在大多数纯文本任务上，Claude3Haiku的表现与Claude2[4]一样甚至更好，而Sonnet和Opus则明显优于它。此外，这些模型在非英语语言方面表现出更高的流利性，使其更适合全球受众。在本报告中，我们对我们的评估进行了深入分析，重点关注核心能力、安全、社会影响以及我们在负责任的扩展政策 [5]中承诺的灾难性风险评估。 1简介 该模型卡介绍了Claude3系列模型，该模型在推理、数学、编码、多语言理解和视觉质量方面树立了新的行业基准。 与其前身一样，Claude3模型采用了各种训练方法，例如无监督学习和宪法人工智能[6]。这些模型使用AmazonWebServices(AWS)和GoogleCloudPlatform(GCP)的硬件进行训练，核心框架包括PyTorch[7]、JAX[8]和Triton[9]。 Claude3系列的一个关键增强功能是具有文本输出的多模式输入功能，允许用户上传图像（例如表格、图表、照片）以及文本提示，以获得更丰富的上下文和扩展的用例，如图1和附录B所示。1该模型系列还擅长工具使用（也称为函数调用），允许将Claude的智能无缝集成到专门的应用程序和自定义工作流程中。 Claude3Opus是我们最智能的模型，为推理、数学和编码测量设立了新标准。 Opus和Sonnet都表现出了在细致入微的内容创建、分析、预测、准确总结和处理科学查询方面的熟练程度。这些模型旨在帮助企业实现任务自动化、通过面向用户的应用程序创收、进行复杂的财务预测以及加快各个部门的研发。Claude3Haiku是市场上同类智能产品中最快、最实惠的选择，同时还包括视觉功能。整个Claude3系列在编码任务和西班牙语和日语等非英语语言的流畅性方面比前几代产品有了显着提高，从而实现了翻译服务和更广泛的全球实用性等用例。 Claude3模型系列由Anthropic开发并于2024年3月宣布，将在我们的消费者产品（Claude.ai、ClaudePro）以及AnthropicAPI、AmazonBedrock和GoogleVertexAI等企业解决方案中提供。Claude3模型的知识截止日期是2023年8月。 该模型卡并不旨在涵盖我们所有的研究。为了全面了解我们的培训和评估方法，我们邀请您探索我们的研究论文（例如，评估中的挑战） 1我们支持JPEG/PNG/GIF/WebP，最大10MB和8000x8000px。我们建议避免使用小或低分辨率的图像。 人工智能系统[10]、减少危害的红队语言模型[11]、大型语言模型中的道德自我纠正能力[12]、衡量语言模型中主观全球观点的表征[13]、前沿威胁红队人工智能安全[14]，以及我们的负责任的扩展政策[5]以解决灾难性风险）。除了我们的公共研究之外，我们还致力于在行业、政府和民间社会之间分享研究结果和最佳实践，并定期与这些利益相关者接触，分享见解和最佳实践。我们期望在继续研究和评估前沿模型的过程中发布新的发现。 2型号详情 2.1预期用途 克劳德被训练成一名乐于助人、诚实且无害的助手。Claude模型擅长就想法进行开放式对话和协作，并且在编码任务和处理文本时也表现出色‑无论是搜索、写作、编辑、概述还是总结。2Claude3系列的多模式功能可以解释视觉输入（例如图表、图形和照片）以支持其他用例和生产力。克劳德模特有一种乐于助人、健谈的语气，可以对“个性”进行指导。 用户将它们描述为感觉可操纵、适应性强且有吸引力。 Claude使用用户输入的所有文本（提示）以及迄今为止在对话中生成的所有文本来预测下一个最有帮助的单词或标记。这意味着Claude一次按顺序构造一组字符的响应。在构建响应后，它无法返回并编辑响应，除非用户在后续提示中给它机会这样做。克劳德也只能看到（并做出预测）其上下文窗口中出现的内容。它无法记住以前的单独对话，除非用户在提示中重新插入此类材料，也无法打开链接。 2.2意外用途 这些模型不应在高风险情况下单独使用，因为错误的答案可能会造成伤害。例如，虽然克劳德模型可以支持律师或医生，但不应部署它们来代替律师或医生，并且任何响应仍应由人类审查。Claude模型目前不会搜索网络（尽管用户可以要求他们与直接共享的文档进行交互），并且模型仅使用截至2023年中期的数据回答问题。Claude模型可以连接到搜索工具，并经过彻底的训练来使用它们（通过网络或其他数据库），但除非特别指出，否则应假设Claude模型没有使用此功能。Claude模型具有多语言能力，但在资源匮乏的语言上表现较差（请参阅下面 第5.6节中的多语言评估，了解更多详细信息）。 2.3禁止用途 我们的可接受使用政策(AUP)[15]包含有关禁止使用案例的详细信息。这些禁止的用途包括但不限于政治竞选或游说、监视、社会评分、刑事司法决定、执法以及与融资、就业和住房有关的决定。AUP还概述了商业用途的额外安全要求，例如要求披露正在使用的人工智能系统并概述其功能和限制。AUP还详细说明了哪些用例需要实施人机参与措施。 AUP适用于图像和文本提示，所有Anthropic用户在访问Claude模型之前必须阅读并明确承认AUP。我们定期审查和更新AUP，以确保我们的产品尽可能安全和值得信赖。 2.4防止滥用 检测和减少对我们技术的禁止使用对于防止不良行为者滥用我们的模型生成滥用、欺骗或误导性内容至关重要。我们使用自动化系统实时检测发生的AUP违规行为。被标记为违反AUP的用户提示会触发我们的模型做出更加谨慎响应的指令。如果用户提示特别 2有关提示设计的更多信息和建议，请参阅我们的文档：https://docs.anthropic.com/claude/docs/introduction‑to‑prompt‑design。 2 MachineTranslatedbyGoogle 严重或有害的，我们将完全阻止模型做出响应，如果屡次违规，我们可能会终止用户的Claude访问权限。 2.5训练数据 Claude3模型接受了截至2023年8月互联网上公开可用信息的专有组合的训练，以及来自第三方的非公开数据、数据标签服务和付费承包商提供的数据以及我们内部生成的数据。我们采用多种数据清理和过滤方法，包括重复数据删除和分类。Claude3模型套件尚未接受过用户或客户（包括免费用户、ClaudePro用户和API客户）提交给我们的任何用户提示或输出数据的训练。 当Anthropic通过抓取公共网页获取数据时，我们会遵循有关robots.txt指令和网站运营商用来表明是否允许抓取其网站内容的其他信号的行业惯例。根据我们的政策，Anthropic的爬虫程序不会访问受密码保护的页面或登录页面，也不会绕过验证码控制，并且我们会对我们使用的数据进行尽职调查。Anthropic透明地运行其爬行系统，这意味着网站运营商可以轻松识别Anthropic访问并向Anthropic表明他们的偏好。 2.6训练过程 克劳德接受的训练重点是乐于助人、无害和诚实。训练技术包括对大量不同数据进行预训练，以通过单词预测等方法获取语言能力，以及引发有用、无害、诚实反应的人类反馈技术。Anthropic使用一种名为“宪法人工智能”[16]的技术，通过根据《联合国人权宣言》等来源明确指定规则和原则，在强化学习期间使克劳德与人类价值观保持一致。通过Claude3模型，我们在Claude宪法中添加了一项额外原则，以鼓励尊重残疾人权利，该原则源自我们对集体宪法人工智能[17]的研究。一些用于微调Claude的人类反馈数据与我们的RLHF[19]和红队研究一起公开[18]。 一旦我们的模型经过充分训练，我们就会进行一系列安全评估。我们的信任和安全团队还运行连续分类器来监控违反我们AUP的有害、恶意用例的提示和输出。请参阅下面的评估部分，了解有关两者的更多信息。 2.7发布决策和维护 我们借鉴NISTAI风险管理框架及其映射、测量、管理和治理子类别[20]的指导，采取了许多具体步骤来负责任地开发和部署AI系统。 我们清楚地记录了我们的产品可以使用和不可以使用的方式，以及使用我们产品的限制和潜在风险。我们定期通过交互式红队评估我们的系统，并根据产品性能和潜在安全风险的基准进行评估。为了管理潜在风险，我们逐步推出我们产品的访问权限，以确保其安全性和可靠性；结合使用自动监控潜在危害和违反我们AUP的行为，以及人工审核来审核我们分类器的准确性；并定期将我们的模型更新为针对新发现的风险和潜在漏洞进行强化的版本。 我们还非常谨慎地对待我们产品和服务的最终用户的敏感数据和个人信息。我们实施保留政策，以确保我们对个人信息和敏感信息的存储与数据需求相称，例如监控和改进我们的信任和安全流程。对于我们的消费产品和网站的使用，我们的隐私政策[21]分享了有关数据隐私、使用和保留的更多详细信息。 我们还遵循负责任的扩展政策，该政策指导我们开发和部署功能不断增强的人工智能系统，如下所述。作为一家公益公司(PBC)，我们专注于在组织的各个层面（包括我们的执行领导团队）安全开发和部署人工智能系统。 3 MachineTranslatedbyGoogle 3安全 我们使用各种连接身份验证和授权技术来保护模型环境的安全，以帮助确保其完整性；人们必须始终使用多重身份验证。我们的高级模型受到两方控制的保护。对AI模型基础设施的访问权限是按用户明确授予的，并在每次访问尝试时进行验证。所有有权访问托管我们服务的服务基础设施的帐户都受到严格的密码要求和多因素身份验证的保护。 每个帐户都配置有其所有者所需的最低权限级别。其他防御层包括持续系统监控、24/7警报响应、端点强化、数据存储和共享控制、人员审查和物理安全强化。在部署到生产环境之前，我们会非常谨慎地测试任何代码更改，包括代码审查。最后，我们与渗透测试人员合作来测试我们的检测系统并改善我们的防御态势。 4社会责任 作为PBC，Anthropic致力于在开发过程的每个阶段开发安全、负责任的人工智能系统。与之前的模型相比，Claude3模型对请求有更细致的理解，能够识别真正的伤害，并且拒绝回答无害的提示的频率更少。也就是说，他们仍然会犯错误，我们正在努力让克劳德变得更加乐于助人、无害且诚实。道德考虑也影响了我们的AUP（它界定了Claude的允许和不允许的用途）以及执行它的信任和安全流程。 4.1宪法人工智能 我们的核心研究重点是训练Claude模型变得有帮助、诚实且无害。目前，我们通过为模型提供宪法来做到这一点模型用来指导其输出的一组道德和行为原则。克劳德宪法中的大部分原则与我们在2023年5月发布的原则相同[6]。利用这部宪法，模型被训练以避免性别歧视、种族主义和有毒的输出，并避免帮助人类从事非法或不道德的活动。为了回应我们在集体宪法人工智能[17]方面的工作，我们添加了一项由公共输入流程告知的额外原则，该原则指示Claude理解残障人士并为他们所用，从而降低模型刻板印象偏见。 4.2劳工 Anthropic与多个数据工作Ǚ台合作，这些Ǚ台负责吸引和管理从事Anthropic项目的数据工作者。 数据工作任务包括选择首选模型输出，以训练人工智能模型以符合这些偏好；根据广泛的标准（例如准确性、有用性、无害性等）评估模型输出；以及对抗性测试（即红队）我们的模型以识别潜在的安