生成式人工智能治理模型框架（英）

CONTENTS 可信赖的发展12 和部署 执行摘要 生成型人工智能已经抓住了世界的想象力。虽然它拥有巨大的变革潜力，但也伴随着风险。因此，建立一个值得信赖的生态系统至关重要它帮助人们自信地拥抱人工智能，为创新提供最大空间，并作为利用人工智能造福公众的核心基础。 作为一个整体，人工智能是一项多年来一直在发展的技术。先前的开发和部署有时被称为传统AI.1To奠定基础为了促进传统AI的负责任使用，新加坡发布了第一个版本的AI治理框架模型在2019年，随后在2020年进行了更新。2最近出现的创成式AI3hasenharifiedsomeofthesameAIrisks(e.g.,bias,misuse,lackofexplainability),andintroducednewones(e.g.,hallucination,copyrightinfrence, valuealignment).Theseconcernswerehighedinourearly关于生成人工智能的讨论文件：对信任和治理的影响,42023年6月发布。讨论和反馈具有指导意义。 需要审查现有的治理框架，以促进更广泛的可信生态系统。需要在保护用户和推动创新之间达成谨慎的平衡。在问责制、版权和错误信息等相关和相关主题方面，也有各种国际讨论。这些问题是相互关联的，需要以实际和整体的方式看待。任何单一的干预都不会是灵丹妙药。 This因此，用于生成AI的模型AI治理框架寻求提出一种系统和平衡的方法在继续促进创新的同时解决生成AI问题。它要求所有关键利益相关者，包括政策制定者，行业，研究界和更广泛的公众，共同发挥自己的作用。该框架建议对九个方面进行全面研究，以促进可信的生态系统。 a)Accountability-问责制是激励人工智能开发链中的参与者对最终用户负责的关键考虑因素。在这样做的过程中，我们认识到，像大多数软件开发一样，生成AI涉及技术堆栈中的多个层，因此责任分配可能无法立即明确。虽然生成式AI开发具有独特的特征，但今天的云和软件开发堆栈仍然可以绘制有用的相似之处，并且可以采取最初的实际步骤。 1传统AI是指利用从历史数据中获得的见解进行预测的AI模型。典型的传统AI模型包括逻辑回归、决策树和条件随机场。用于描述这一点的其他术语包括“区别性AI”。 2模型AI治理框架的重点是为传统AI解决方案的开发和部署制定最佳实践。这已被纳入并扩展到用于生成AI的模型AI治理框架的可信开发和部署维度中。 3生成式AI是能够生成文本、图像或其他媒体类型的AI模型。他们学习输入训练数据的模式和结构，并生成具有类似特征的新数据。基于变压器的深度神经网络的进步使生成式AI能够接受自然语言提示作为输入，包括大型语言模型(LLM)如GPT-4、双子座、克劳德和LLaMA。 4讨论文件由新加坡Infocomm媒体发展局联合出版（IMDA)、Aicadium和AI验证基金会。请参阅https://aiverifyfoundation.sg/downloads/discussion_Paper.pdf b)Data-数据是模型开发的核心要素。它显著影响模型输出的质量。因此，提供给模型的内容很重要 ，并且需要确保数据质量，例如通过使用可信数据源。在使用数据进行模型训练可能引起争议的情况下，例如个人数据和版权材料，同样重要的是要使业务清晰，确保公平对待，并以务实的方式做到这一点。 c)可信赖的开发和部署-模型开发及其之上的应用程序部署是AI驱动创新的核心。尽管最终用户可能具有有限的可见性，但围绕基线安全和卫生措施采取的有意义的透明度是关键。这涉及行业在开发，评估以及此后的“食品标签”型透明度和披露方面采用最佳实践。随着时间的推移，这可以增强更广泛的意识和安全性。 d)事件报告-即使使用最强大的开发流程和保护措施，我们今天使用的软件也不是完全万无一失的。这同样适用于人工智能。事件报告是一种既定做法，可以及时通知和补救。因此，建立结构和流程以实现事件监控和报告是关键。这也支持人工智能系统的持续改进。 e)测试和保证对于可信的生态系统，第三方测试和保证起着补充作用。我们今天在金融和医疗保健等许多领域这样做，以实现独立验证。虽然人工智能测试是一个新兴领域，但对于公司来说，采用第三方测试和保证来证明与最终用户的信任是很有价值的。围绕AI测试制定通用标准以确保质量和一致性也很重要。 f)安全-生成AI引入了针对模型本身的新威胁向量的潜力。这超出了任何软件堆栈固有的安全风险。虽然这是一个新兴领域，但需要对现有的信息安全框架进行调整，并开发新的测试工具来应对这些风险。 g)内容来源人工智能生成的内容，因为它可以轻松创建，可能会加剧错误信息。关于内容在何处以及如何生成的透明度使最终用户能够确定如何以知情的方式消费在线内容。各国政府正在寻求技术解决方案，如数字水印和密码来源。这些技术需要在正确的环境中使用。 h)安全与对准研究与开发(R&D)人工智能安全研发机构之间的全球合作对于优化有限资源以获得最大影响、并与商业驱动的模型能力增长保持同步至关重要。 i)AI为公益-负责任的人工智能超越了风险缓解。这也是关于提升和授权我们的员工和企业在人工智能支持的未来中蓬勃发展。民主化人工智能接入、改善公共部门人工智能的采用率、提高工人技能和可持续发展人工智能系统将支持引导人工智能走向公益的努力。 4 建立可信的AI生态系统 1.Accountability 为AI系统开发生命周期中的不同参与者建立正确的激励结构，以对最终用户负责 2.Data 确保数据质量并以务实的方式解决潜在的有争议的培训数据 ，因为数据是模型开发的核心 3.可信赖的发展 和 部署根据行业最佳做法提高基准安全和卫生措施的透明度 在开发、评估和披露中 4.事件报告 实施事件管理系统，以便及时通知、补救 并不断改进，因为没有人工智能系统是万无一失的 5.测试和保证 通过第三方测试提供外部验证和增加信任，并开发通用AI测试标准以实现一致性 6.安全 解决通过生成AI模型出现的新威胁向量 7.内容来源 关于内容来源的透明度作为最终用户的有用信号 8.安全和校准研发 通过AI安全机构之间的全球合作加速研发，以改善模型与人类意图和价值观的一致性 9.AI为公益 负责任的AI包括利用AI通过民主化访问，改善公共部门的采用，提高工人的技能和可持续开发AI系统来使公众受益 该框架以我们关于生成人工智能的讨论文件中强调的政策思想为基础，并借鉴了与主要司法管辖区，国际组织，研究社区和领先的人工智能组织的见解和讨论。该框架将随着技术和政策讨论的发展而发展。 ACCOUNTABILITY 建立一个可信的AI生态系统 ACCOUNTABILITY 问责制是培育可信生态系统的关键考虑因素。人工智能开发链中的参与者需要对最终用户负责，5andthestructuralincentivesshouldalignwiththisneed.Theseplayersincludesmodeldevelopers,applicationdeployers6和云服务提供商（通常提供托管AI应用程序的平台）。像大多数软件开发一样，生成AI涉及技术堆栈中的多个层。虽然责任分配可能无法立即明确，但可以与当今的云和软件开发进行有用的相似之处，并可以采取实际步骤。 Design 为了全面做到这一点，应该考虑如何分配责任前期在开发过程中(事前)作为最佳实践，并指导如何在发现问题时获得补救此后（事后）。 ExAnte-预先分配 可以根据控制级别分配责任生成AI开发链中的每个利益相关者都有，以便有能力的一方采取必要的行动来保护最终用户。作为参考，尽管开发链中可能存在各种利益相关者，但云行业7这些模型通过解释云服务提供商(提供基础基础设施层)及其客户(在上面的层上托管应用程序)分别承担的控制和措施来分配责任。 有价值将这种方法扩展到AI开发云服务提供商最近扩展了其云分担责任模型的一些元素，以涵盖AI ，并将最初的重点放在安全控制上。8这是一个良好的开端，可以采取类似的方法来解决其他安全问题。AI分担责任方法可能还需要考虑不同的模型类型（例如，闭源，开源9或开放重量10），给定应用程序部署人员对每种模型类型具有不同的控制级别。中的责任 5虽然该框架强调为AI开发分配责任，但最终用户对AI的使用负有单独的责任（例如，遵守使用条款）。 6我们认识到，生成式AI开发链很复杂。应用程序开发人员（开发使用AI技术的解决方案或应用程序）和应用程序部署人员（向最终用户提供AI解决方案或应用程序）有时可能是两个不同的方。为简单起见，本文使用术语“应用程序部署人员”来指代应用程序开发人员和部署人员。 7这包括GoogleCloud、MicrosoftAzure和AmazonWebServices。 8既是云又是模型服务提供商的Microsoft已经启动了其中的一些元素。请参阅https://learn.microsoft.com/en-us/azure/security/basements/shared-responsibility-ai 9开源提供了从头开始重新训练模型所需的完整源代码和信息，包括模型架构代码、训练方法和超参数、原始训练数据集和文档。 10开放权重提供模型本身的预训练参数或权重，但不提供训练代码，数据集，方法等。现有的开放权重模型包括LlaMa2，Falcon-40B-Instruct和Mistral7B-Instruct。 7 Thiscase,forexamplewhenusingopen-sourceoropen-weightmodels,shouldrequireapplicationdeployerstodownloadmodelsfromreputableplatformstominimizetheriskoftamededmodels.Asthemostknowledgeabouttheirownmodelsandhowtheyaredep模型开发人员有能力以协调一致的方式领导这一开发.1这将为利益相关者提供更大的确定性，并促进更安全的生态系统 。 事后-安全网 责任分担模式是问责制的重要基础 -theyprovidesclarifyonrevertwhenissuesoccur.However,他们可能无法涵盖所有可能的情况。当出现新的或意料之外的问题时，分配责任实际上也可能具有挑战性。值得考虑其他措施，包括围绕赔偿和保险的概念，以更好地覆盖最终用户。 Thisexistsinalimitedformtoday.Inclearerareaswhererecorrectisneeded,theindustryhasmovedaccordingly.Somemodeldevelopers12已经开始承保某些风险，例如因使用其AI产品和服务而产生的第三方版权声明。在这样做时，开发人员隐含地承认他们对模型训练数据的责任以及他们的模型如何使用。 Therewilleventuallybeotherareasthatarenotasclearandnotwell-covered.Thismayincluderisksthathaveproportionateimpactonsocietyasawhole,andwhichmayonlyemergedasAIisused.Itisthereforeusedtoconsider更新法律框架使它们更加灵活，并允许新出现的风险得到容易和公平的解决。这类似于当今实体产品的最终用户如何享受安全保护。这种努力的一个例子是欧盟提出的人工智能责任指令和即将批准的修订产品责任指令。这些指令旨在使最终用户更容易证明由启用AI的产品和服务造成的损害。这样可以确保没有任何一方在赔偿过程中处于不公平的不利地位。 最后，肯定会有剩余问题这是一个非常新兴