2023大模型伦理原则与实践白皮书—日日新，思无邪

日日新，思无邪 商汤大模型伦理原则与实践白皮书 商汤人工智能伦理与治理委员会 1 人工智能伦理治理年度报告（2023） 商汤智能产业研究院、上海交通大学计算法学与AI伦理研究中心联合出品 目录 致大模型从业者的一封信：人类普适价值观，驱动AI伦理“三维对齐”3 【关于商汤】6 【关于本报告】8 一、生成式人工智能浪潮下的范式变革9 二、生成式人工智能风险管理——一项紧迫的议程11 三、生成式人工智能治理原则——基于现实的考量13 四、生成式人工智能治理实践——“商汤日日新SenseNova”治理案例18 五、生成式人工智能治理基础设施——商汤“SenseTrust”工具体 系24 六、生成式人工智能治理的发展——避免陷入“失控的竞赛”28 致大模型从业者的一封信： 人类普适价值观，驱动AI伦理“三维对齐” 图1：“三维对齐”科技伦理模式 人类经济文明之树上“低垂的果实”已被采摘一空，新一代创新科技犹如“新的进化梯子”，帮助人类采摘到“更高的果实”。联合国常务副秘书长阿明娜·穆罕默德女士在2022年联合国可持续发展高级别政治论坛上说：“新冠疫情、冲突以及环境危机造成的挑战已经影响到教育、医疗保健、性别平等以及经济发展。她指出，2030年议程的时间表已经过半，但“我们还没有完成一半的任务”。为此，全球需要在可再生能源、粮食体系和数字连接领域进行转型，加快“人力资本投资，为机遇融资”的步伐，进而化危为机。”而以人工智能为代表的新一代科技，即能为人类持续提升环境治理能力，带来新能源、新农业、新制造与新商业，又能通过科技伦理在一定程度上弥补 “数字鸿沟”，创造新兴就业市场，实现各国经济结构的转型升级， 正如丘吉尔的名言：“决不要浪费一场好的危机(Neverwasteagoodcrisis)”。 人机对齐，以保障AI任务目标与人类用户意图对齐、AI伦理与人类价值观、社会风序良俗、法律政策对齐。麦肯锡全球研究院 （McKinseyGlobalInstitute）说，人工智能正在促进社会发生转变，这种转变比工业革命“发生的速度快10倍，规模大300倍，影响几乎大3000倍。”为了保证AI大模型产品全生命周期的人机对齐，应持续识别发现训练数据集、应用场景的偏差风险，并设计风险内控检查表与管理流程，并在RLHF（基于人类反馈的增强学习）的测试、使用过程中，形成反馈闭环，修正问题、增补风险项、完善高阶伦理原则。正如人类的价值观是经过历史、文化、社会活动、产业革命逐步变化形成，从AIGC到AGI的伦理秩序同样需要持续改进与发展。 人人对齐，是充分考虑世界不同种族文化差异、区域经济差异、国家社会发展阶段的不同，跨越文明形态、地缘分歧，形成普惠全人类的互相尊重、包容、理解的统一价值观体系。哈佛大学教授塞缪尔 •亨廷顿在《文明的冲突》一书中，根据历史发展将世界分为八大文 明板块，分别拥有不同的文化价值观。农业时代、工业时代、信息时代，人类价值观的分歧长期存在、并变化演进，伴随人工智能技术进入千行百业、拥有了数亿用户群体，跨洲际AI2.0服务、跨国科研合作形成了很好的生态产业链、开放开源社群，急需一种普适全人类的价值观指引。联合国秘书长古特雷斯于2021年9月发布了《我们的 共同议程》报告，面向政府、联合国系统、私营部门（含科技公司）、民间社会、基层组织、学术界和个人，提出《全球数字契约》，该契约将成为“所有人共享开放、自由和安全的数字未来的共同原则”，涵盖的领域包括：数字连接、避免互联网碎片化、为人们提供将如何使用其数据的选择、网络人权，以及通过引入对歧视和误导信息问责标准促进可靠的互联网内容。该契约有望在2024年形成全球初步共识，并为人人对齐形成统一框架。 人类、科技与环境对齐，为避免环境恶化、灾难性气候为人类带来社会崩溃等恶劣影响，科技企业应注重并遵循环境伦理。1972年，罗马俱乐部在《增长的极限》报告中提出：“一旦人口与经济超越了地球的物理极限，那么只有两条路可以返回正常：通过日益升级的短缺与危机而导致的非自愿崩溃；或者通过精心的社会选择而带来的生态足迹有控制的缩减。”并预测人类将在21世纪因资源瓶颈、环境恶化等客观因素带来经济衰退、社会崩溃等严重影响。基于全球ESG理念、碳达峰碳中和目标，AI产业链、科研机构、私营机构应肩负起环境生态保护、能源可持续发展的社会责任，重新思考在满足了人类生存需求之后，人类该如何满足地球家园环境的保护要求与自然资源良性开发，为子孙后代留住流水青山。 新兴科技来自全人类，更应该造福全人类，所以对人类命运共同体负责、对全球环境负责的AI伦理风控、AI治理机制，将成为大模型技术、生成式人工智能技术、通用人工智能技术的核心指引。 ——商汤科技智能产业研究院院长田丰 【关于商汤】 作为行业领先的人工智能软件公司，商汤集团以“坚持原创，让AI引领人类进步”为使命，“以人工智能实现物理世界和数字世界的连接，促进社会生产力可持续发展，并为人们带来更好的虚实结合生活体验”为愿景，旨在持续引领人工智能前沿研究，持续打造更具拓展性更普惠的人工智能软件平台，推动经济、社会和人类的发展，并持续吸引及培养顶尖人才，共同塑造未来。 商汤拥有深♘的学术积累，并长期投入于原创技术研究，不断增强行业领先的全栈式人工智能能力，涵盖感知智能、决策智能、智能内容生成和智能内容增强等关键技术领域，同时包含AI芯片、AI传感器及AI算力基础设施在内的关键能力。此外，商汤前瞻性打造新型人工智能基础设施——SenseCore商汤AI大装置，打通算力、算法和平台，大幅降低人工智能生产要素价格，实现高效率、低成本、 规模化的AI创新和落地，进而打通商业价值闭环，解决长尾应用问题，推动人工智能进入工业化发展阶段。 商汤业务涵盖智慧商业、智慧城市、智慧生活、智能汽车四大板块，相关产品与解决方案深受客户与合作伙伴好评。 商汤坚持“平衡发展”的伦理观，倡导“可持续发展、以人为本、技术可控”的伦理原则，实行严格的产品伦理风险审查机制，建设全面的AI伦理治理体系，并积极探索数据治理、算法治理相关的检测工具和技术手段，致力于将伦理原则嵌入到产品设计、开发、部署的全生命周期，发展负责任且可评估的人工智能。 目前，商汤集团（股票代码：0020.HK）已于香港交易所主板挂牌上市。商汤现已在香港、上海、北京、深圳、成都、杭州、南平、青岛、三亚、西安、台北、澳门、京都、东京、新加坡、利雅得、阿布扎比、迪拜、吉隆坡、首尔等地设立办公室。另外，商汤在泰国、印度尼西亚、菲律宾等国家均有业务。 【关于本报告】 商汤集团（以下简称“商汤”、“公司”或“我们”）主动向社会公众报告公司的人工智能伦理与治理情况，让全社会了解、监督商汤的人工智能伦理与治理工作。 商汤面向社会各界发布人工智能伦理与治理报告，旨在通过及时披露商汤的人工智能伦理治理理念和实践，促进商汤与利益相关方以及社会公众之间的了解、沟通与互动，推动发展负责任且可评估的人工智能。 作为商汤人工智能伦理与治理的年度报告，本报告于2023年7月以中文版本率先发布，英文版本将另行择期发布，如对本报告有任何建议和意见，请通过以下方式与商汤联系： 商汤AI伦理与治理委员会：AIethics.committee@sensetime.com 一、生成式人工智能浪潮下的范式变革 2022年，是人工智能发展历程中极具里程碑意义的一年。以ChatGPT为代表的生成式人工智能工具迅速火爆全球，成为人类迈向通用人工智能（ArtificialGeneralIntelligence）时代的历史性节点之一。ChatGPT基于NLP基础模型（NLP即自然语言处理），体现出跨知识领域、跨语种、多模态为特征的海量知识挖掘、人机自然交流，能实现撰写代码、回答问题、书写论文、诗歌、剧本等指令，可以让AI生产力从重复性体力生产环节向认知和创造性生产环节延伸。上线仅两个月，ChatGPT活跃用户便突破1亿大关，一举成为人类科技史上消费者增长速度最快的应用程序。 ChatGPT这一现象级应用的成功，标志着人工智能正式进入以“基础模型+微调”为主要特征的生产范式，推动人工智能进入2.0阶段。2012年，后来被誉为“人工智能教父”的GeoffreyHinton带领团队凭借卷积神经网络（ConvolutionalNeuralNetworks,CNN）在ImageNet的比赛中获得冠军，标志着机器的视觉识别能力能够超越人眼识别准确率，开启了人工智能工业化的进程。由此，人工智能开始走进一个个应用场景。这一阶段，人工智能的生产范式属于典型的“手工作坊”模式，即人工智能厂商需要针对每个细分场景开发专属的模型，进而导致人工智能开发周期长，落地成本高，成为人工智能规模化应用亟待突破的制约。ChatGPT等预训练大模型应用的成功打破了“手工定制”的生产范式，通过“基础模型+微调”的方式，使得 一个基础模型能够快速适配海量的下游应用，为人工智能的规模化落 地提供了一条可行的路径。 如果以生产模式的差异作为分界线，我们大致可以将2022年之前的人工智能发展阶段定义为人工智能1.0阶段（AI1.0阶段），将2022年之后的人工智能发展阶段定义为人工智能2.0阶段（AI2.0阶段）。AI2.0阶段相比AI1.0阶段有以下几点显著变化：一是任务类型由封闭场景转向开放任务；二是数据处理模态由单一模态转向多模态；三是模型类型由判别式模型转向生成式模型；四是生产模式由“手工作坊”转向“基础模型+微调”。 图2：人工智能领域的范式变革 进入AI2.0阶段，人工智能生产范式的变革同样引起了人工智能风险范式的转变。具体来说，一方面任务场景的开放性导致风险的潜在边界理论上被无限放大，风险来源防不胜防，而且风险评估标准更加难以界定；同时，跨模态数据交互能力的实现，在大幅降低AI工具应用门槛的同时，也使得AI滥用的风险呈指数上升。另一方面， 10 由于生产范式的转变，基础模型内含的风险也会随着下游应用的规模推广而被规模化扩散，风险的外溢性显著提升。此外，诸多安全机制的嵌入也会影响模型自身的表现，如何实现安全能力与模型性能之间的平衡，也成为业界持续面临的巨大挑战。 二、生成式人工智能风险管理——一项紧迫的议程 自ChatGPT发布以来，全球主要国家、国际组织、企业和研究机构纷纷提出人工智能治理举措和呼吁，强调加强人工智能风险管理，规范人工智能技术发展。 图3：ChatGPT之后，全球AI治理步伐加快 一方面，各国政府加快推进人工智能相关政策制定步伐。2023年4月3日，中国科技部发布《科技伦理审查办法（试行）》（征求意见稿），提出涉及科技伦理敏感领域的，应设立科技伦理（审查）委员会，并建立伦理高风险科技活动的清单制度，对可能产生较大伦理风险挑战的新兴科技活动实施清单管理。4月11日，中国网信办发布 《生成式人工智能服务管理办法（征求意见稿）》，旨在对生成式人工智能带来的风险做出及时应对。5月13日，美国白宫总统科技顾问委员会（PCAST）成立生成式人工智能工作组，以帮助评估关键机遇和风险，并就如何更好地确保这些技术的开发和部署尽可能公平、负责任和安全提供意见。5月16日，美国国会召开听证会，OpenAICEOSamAltman应邀出席，讨论“AI监管：人工智能的规则”，并建议政府组建新机构、创建安全标准和指派第三方专家对AI系统进行审计等。5月16日，法国CNIL发布行动计划，提出审计和监控人工智能系统。5月20日，G7领导人表示，“需要立即评估生成式人工智能技术的机会和挑战”，同意对人工智能采取“基于风险”的监管。日本政府召开“AI战略会议”，讨论制定人工智能使用规则。6月1日，澳大利亚官员表示，正计划加强对人工智能的监管，包括可能禁止深度造假和看似过于真实的虚假内容。6月6日，国务院办公厅发布《国务院2023年度立法工作计划》显示，《人工智能法》已列入立法计划，草案预备年内提请全国人大审议。6月14日，欧洲议会投票通过《人工智能法案》，标志着该法案朝