平衡发展的AI治理白皮书

“平衡发展”的人工智能治理白皮书 ——商汤人工智能伦理治理年度报告 （2022年） 人工智能伦理与治理委员会 2022年9月 目录 【关于商汤】3 【关于本报告】5 一、人工智能发展与治理概述6 二、商汤的人工智能治理思考10 三、商汤的人工智能治理理念13 四、商汤的人工智能治理目标16 五、商汤的人工智能治理实践18 六、合乎伦理的产品设计实践26 2 【关于商汤】 作为人工智能软件公司，商汤科技以“坚持原创，让AI引领人类进步”为使命，“以人工智能实现物理世界和数字世界的连接，促进社会生产力可持续发展，并为人们带来更好的虚实结合生活体验”为愿景，旨在持续引领人工智能前沿研究，持续打造更具拓展性更普惠的人工智能软件平台，推动经济、社会和人类的发展，并持续吸引及培养顶尖人才，共同塑造未来。 商汤科技拥有深♘的学术积累，并长期投入于原创技术研究，不断增强行业领先的全栈式人工智能能力，涵盖感知智能、决策智能、智能内容生成和智能内容增强等关键技术领域，同时包含AI芯片、AI传感器及AI算力基础设施在内的关键能力。此外，商汤前瞻性打造新型人工智能基础设施——SenseCore商汤AI大装置，打通算力、 算法和平台，大幅降低人工智能生产要素价格，实现高效率、低成本、 3 规模化的AI创新和落地，进而打通商业价值闭环，解决长尾应用问题，推动人工智能进入工业化发展阶段。 商汤科技业务涵盖智慧商业、智慧城市、智慧生活、智能汽车四大板块，相关产品与解决方案深受客户与合作伙伴好评。 商汤科技坚持“平衡发展”的伦理观，倡导“可持续发展、以人为本、技术可控”的伦理原则，实行严格的产品伦理风险审查机制，建设全面的AI伦理治理体系，并积极探索数据治理、算法治理相关的检测工具和技术手段，致力于将伦理原则嵌入到产品设计、开发、部署的全生命周期，发展负责任且可评估的人工智能。 目前，商汤科技（股票代码：0020.HK）已于香港交易所主板挂牌上市。商汤科技现已在香港、上海、北京、深圳、成都、杭州、南平、青岛、三亚、西安、台北、澳门、京都、东京、新加坡、利雅得、阿布扎比、迪拜、吉隆坡、首尔等地设立办公室。另外，商汤科技在泰国、印度尼西亚、菲律宾等国家均有业务。 4 【关于本报告】 商汤科技（以下简称“商汤”、“公司”或“我们”）主动向社会公众报告公司的人工智能伦理与治理情况，让全社会了解、监督商汤的人工智能伦理与治理工作。 商汤面向社会各界发布人工智能伦理与治理报告，旨在通过及时披露商汤的人工智能伦理治理理念和实践，促进商汤与利益相关方以及社会公众之间的了解、沟通与互动，推动发展负责任且可评估的人工智能。 作为商汤科技人工智能伦理与治理的年度报告，本报告于2022 年9月以中英文版本面向全球发布，如对本报告有任何建议和意见，请通过以下方式与商汤联系： 电子邮箱：aiethics.committee@sensetime.com 5 一、人工智能发展与治理概述 “2010年前后，人工智能步入新发展阶段，算力和数据成为主要驱动。此阶段的人工智能，某种程度上不再以人的认知为依据，其规则跳出了当前人的认知边界，引发更多有关治理的探讨”——商汤科技CEO，徐立 过去十年，人工智能技术在深度学习、大数据，以及“摩尔定律”的支撑下取得一个又一个突破性进展，在计算机视觉、自然语言处理、语音识别等不同细分领域实现商业化落地。截至目前，人工智能已在城市治理、教育、金融、医疗、零售、交通、文娱、制造等众多场景获得广泛应用，并正加速向科学研究、文艺创作等知识拓展类场景渗透。人工智能作为一项通用目的技术，正在被广泛的认可和采用，一个泛在智能的时代正在加速到来。 纵观历史，通用目的技术在推动社会生产力实现跃迁的同时，不可避免地会对原有的社会生产关系带来革命性影响。这一规律同样适用于人工智能，尤其是，当数据驱动的人工智能突破人类既有认知的边界时，其对原有社会生产关系形成的冲击将比以往任何一次技术革命都要强烈。即便在尚处于“弱人工智能”阶段的当下，人们对自动化决策系统鲁棒性、公平性的关切，对算法推荐、深度合成以及生物特征信息识别技术滥用的担忧，无不清晰地表明，如果不能尽快就人工智能的发展目标、发展方式以及应用规范等问题达成广泛共识，人工智能技术走向规模应用将持续面临信任挑战。 正因如此，人工智能治理在过去十年里同样获得了企业、政府机 6 构、国际组织、社会团体等多利益相关方的高度重视，并取得显著进展。目前，人工智能治理已经进入落地实践的阶段。从发展历程看，人工智能治理至今已经走过了三个阶段： 图1全球人工智能治理发展历程 资料来源：商汤智能产业研究院 人工智能治理的1.0阶段：起于2016年，以原则讨论为主。哈佛大学JessicaFjeld等1在研究中将人工智能治理1.0阶段的开端定位于2016年9月，由Google、Facebook、IBM、亚马逊和微软等美国企业发布的《PrinciplesofPartnershiponAI》。AnnaJobin等2通过梳理来自全球84份人工智能伦理相关的原则或准则文件同样发现，2016年之后发布的占比高达88%；其中，私营企业和政府部门发布的文件数量分别占比22.6%和21.4%。 人工智能治理的2.0阶段：起于2020年，以政策讨论为主。2020年2月，欧盟委员会发布《人工智能白皮书》，在全球率先提出了“基于风险的人工智能监管框架”。此后，主要国家纷纷跟进，均在不同程度开展了监管人工智能相关技术及应用的探索。因此，2020年也常被称为“人工智能监管元年”。 1https://cyber.harvard.edu/publication/2020/principled-ai 2https://doi.org/10.1038/s42256-019-0088-2 7 据经合组织（OECD）的统计3，全球已有60余个国家提出了 700余项人工智能政策举措，而德勤全球(DeloitteGlobal)则进一步预测4，2022年将会有大量关于更系统地监管人工智能的讨论。 人工智能治理的3.0阶段：起于2022年，以技术验证为主。进入2022年，随着全球人工智能治理进程的持续推进，以及可信、负责任人工智能等相关理念的持续渗透，有关验证人工智能治理如何落地实施的倡议日益增多。在政府侧，2022年5月，新加坡政府率先推出了全球首个人工智能治理开源测试工具箱-“AI.Verify”；2022年6月，西班牙政府与欧盟委员会发布了第一个人工智能监管沙箱的试点计划。在市场侧，美国人工智能治理研究机构RAII发布了“负责任人工智能认证计划”，向企业、组织、机构等提供负责任AI认证服务。 面向3.0阶段，我们认为，人工智能治理的技术验证应当包括两个层面：一是通过实践验证原则、政策要求和标准的可落地性，二是通过采用技术工具验证各方对人工智能治理规范的落实程度。未来，深入推进人工智能治理还应重点处理好以下“三组关系”： 3https://www.pymnts.com/news/regulation/2022/oecds-principles-can-guide-governments-to-design-ai-regulatory-frameworks/ 4https://www2.deloitte.com/global/en/insights/industry/technology/technology-media-and-telecom-predictions/2022/ai-regulation-trends.html 8 图2人工智能治理落地应重点关注“三组关系” 资料来源：商汤智能产业研究院 理念与行动的关系。IBM的一项研究5发现，虽然超过半数接受其调研的组织发布了或公开认可了人工智能伦理的共同原则，但只有不到四分之一的组织将其付诸实施。人工智能伦理治理在实践过程中仍面临诸多现实挑战：一是人工智能治理与现有组织结构的融合问题。人工智能治理工作涉及信息安全、数据治理等与现有组织结构重叠的领域，职责交叉、工作范围难以厘清等问题在组织层面对推动落地实践形成了一定的制约；二是伦理治理尚未真正融入企业的业务价值闭环。在推动人工智能伦理治理工作时，业务方可能会因看不到短期收益，出现对伦理治理工作重视程度降低、治理工作落实缺位等情况；三是伦理治理落实缺乏共识性标准的问题。 政策与实践的关系。政策制定者与技术开发者的视角不同、立场不同，对政策意涵的理解也不尽相同，在推动人工智能治理落地的过程中，还需要将政策要求转化为技术和业务团队可执行的实践标准。处理好政策与实践的关系，应重点考虑以下四方面：一是政策制定应考虑产业、技术应用的动态性和多样性，为行业发展提供一定宽松的环境；二是不同机 5https://www.ibm.com/downloads/cas/VQ9ZGKAE 9 构、部门、国家应努力推动AI治理标准的互联互通；三是应加强AI治理实践部门在政策制定过程中的参与程度，提升政策要求的可落地性；四是政策层面与产业层面在AI治理相关问题的定义方面应当寻求更多共识。 技术与用户的关系。目前，AI治理仍主要局限于专业讨论、企业内部治理领域，尚未将最终用户纳入AI治理的工作体系之中。因此，市场或者社会上对AI相关的治理问题还存在不少的误解，有些用户会将暂时的技术问题定义为长期性的治理问题，例如，将新部署的AI系统暂时性的识别效果不佳的问题理解为算法歧视问题。IBM的研究6发现，只有40%的消费者相信企业在开发和部署新技术时是负责任且合乎伦理的，用户对AI治理缺乏深度认识。因此，在推动AI治理落地的过程中，还应处理好技术与用户间的关系。为此，技术提供方应使用用户语言讲解技术，AI治理机构应主动厘清治理挑战的根源、深化用户对AI治理问题的理解，并且提升用户参与AI治理的能力。此外，企业还应加大对治理技术工具的投入，提升AI治理的可验证性。 二、商汤的人工智能治理思考 “今天，科技与人类活动深度结合。我们需要科技伦理的规范和人文精神的熏陶，促进科技朝着有益于人类的方向健康发展。因此， 6https://www.ibm.com/downloads/cas/VQ9ZGKAE 10 我们十分重视人工智能伦理治理”——商汤科技CEO，徐立 长期以来，商汤始终高度重视人工智能的治理问题，自2019年起，便在内部建立并持续维护“全球AI伦理风险库”，涵盖上百项全球人工智能伦理正面及负面事件、案例分析等。在密切跟踪全球人工智能治理发展趋势的同时，我们不断深化自身对人工智能治理的认识和理解，并逐步形成对人工智能治理问题的系统性思考。 基于对全球风险案例的深入分析，我们认为，人工智能时代的风险挑战主要来自数据、算法和应用管理三个层面，具体来说： 数据层面的风险主要涉及个人信息保护、数据治理与数据质量三个方面。其中，个人信息保护风险是指在人工智能的开发、测试、运行过程中存在的隐私侵犯问题，这一类问题是当前人工智能应用需要解决的关键问题之一。数据质量风险是指用于人工智能的训练数据集以及采集的现场数据可能会存在的质量问题，以及导致相应的不良影响，这也是人工智能特有的一类数据风险问题。数据安全风险是指人工智能开发及应用过程中，企业对持有数据的安全保护问题，其涉及数据采集、传输、存储、使用、流转等全生命周期，以及人工智能开发和应用等各个环节。 算法层面的风险主要涉及算法决策、算法“黑箱”与算法安全三个方面。其中，算法决策风险是指因算法推理结果的不可预见性与人类自身的认知局限，导致无法预测智能系统做出的决策原因与产生的效果，归责问题便是此类风险的典型 11 代表。算法“黑箱”风险主要指因采用复杂神经网络的算法导致决策不透明与无法被充分解释，而造成的可解释性风险。算法安全风险是指因模型参数泄露或被恶意修改、容错率与弹性不足引发的风险。 应用管理层面的风险涉及算法歧视、伦理冲突、劳动竞争等多个方面。例如，因人为原因、原始训练数据存