AI可信度分析

AI可信度分析 ©2024云安全联盟大中华区版权所有1 ©2024云安全联盟大中华区-保留所有权利。你可以在你的电脑上下载、储存、展示、查看及打印，或者访问云安全联盟大中华区官网（https://www.c-csa.cn）。须遵守以下：(a)本文只可作个人、信息获取、非商业用途；(b)本文内容不得篡改；(c)本文不得转发；(d)该商标、版权或其他声明不得删除。在遵循中华人民共和国著作权法相关条款情况下合理使用本文内容，使用时请注明引用于云安全联盟大中华区。 ©2024云安全联盟大中华区版权所有2 ©2024云安全联盟大中华区版权所有3 致谢 《AI可信度分析》白皮书由CSA大中华区AI模型可信度研究项目组专家和外部专家联合指导撰写，感谢以下专家的贡献： 组长： 高毅昂专家组： 黄连金 王维强 黄磊 黄挺 杨大伟 王皓 闫峥 李默涵 闫斐 崔世文 包沉浮 林琳 编委会： 田毓嘉 游丽娜 闫泰毓 王杰 陈鹏 唐可可 白佳奇 胥迤潇 刘刚 李红程 高磊 郭建领 校验组： 吕鹂啸 万米迪 陈周建 伍超敏 方先行 杨维彬 方旭辉 王佳楠 田佳琦 勒洮 蔡逆水 罗智杰 王彦婷 钟良志 卜宋博 姜禹尧 温恒睿 顾炘宇 刘腾飞 闭俊林 ©2024云安全联盟大中华区版权所有4 贡献单位： 中国电信集团有限公司云网基础设施安全国家工程研究中心 西安电子科技大学广州大学网络空间安全学院 蚂蚁科技集团股份有限公司北京百度网讯科技有限公司天翼云科技有限公司 （以上排名不分先后） 关于研究工作组的更多介绍，请在CSA大中华区官网（https://c-csa.cn/research/）上查看。 在此感谢以上专家及单位。如此文有不妥当之处，敬请读者联系CSAGCR秘书处给与雅正!联系邮箱research@c-csa.cn；国际云安全联盟CSA公众号。 ©2024云安全联盟大中华区版权所有5 序言 随着人工智能（AI）技术的迅速崛起，AI已经成为推动全球科技创新和社会进步的重要动力之一。从智能家居到无人驾驶、从医疗诊断到金融风控，AI技术正以前所未有的速度改变着各行各业的发展方式。然而，随着AI的广泛应用，技术本身的透明度、决策的公正性及系统的安全性等问题也逐渐浮出水面，成为社会各界关注的焦点。 AI应用的蓬勃发展带来了诸如模型盗窃、数据泄露、数据中毒等新的安全威胁。这不仅影响了企业的经济效益，更加剧了人们对AI系统可信度的担忧。特别是在医疗、司法和金融等高度依赖准确性和公正性的领域，AI决策的透明性与公正性问题尤为关键。随着AI技术愈加深刻地融入日常生活，全球对AI系统的可信性要求也在不断提高。 面对这些挑战，CSA大中华区发布了《AI可信度分析》报告，旨在为AI开发者、企业和政策制定者提供全方位的指导和标准体系。本报告从可靠性、安全性、透明性和公平性四大维度，系统性地分析了AI技术在实际应用中的可信性问题，并深入探讨了提高AI系统可信度的策略和方法。报告不仅评估了AI技术在不同领域的现状，还结合全球标准、行业实践及最新的技术进展，提出了一系列具体的改进措施。 在数字化转型深入进行之际，发展可信的人工智能已成为全球共识。通过本报告的发布，我们希望为政策制定者、行业从业者以及研究人员提供有价值的参考，合力推动AI技术朝着安全可信的方向不断发展进步。 李雨航YaleLi CSA大中华区主席兼研究院长 ©2024云安全联盟大中华区版权所有6 目录 1引言10 1.1研究背景与重要性10 1.1.1人工智能发展为社会发展注入新动能10 1.1.2人工智能应用引发可信危机10 1.1.3可信人工智能成为全球共识12 1.2报告目的与研究问题13 2AI可信度的定义与标准13 2.1可信度的定义13 2.2国际AI可信度标准与框架16 2.2.1联合国17 2.2.2美国17 2.2.3英国17 2.2.4欧盟18 2.2.5其他国家18 2.2.6国际标准18 2.2.7企业标准及框架18 2.2.8学术研究19 2.3WDTAAI相关标准工作19 2.3.1生成式AI应用安全标准19 2.3.2大语言模型安全标准21 2.3.3大模型供应链安全标准21 3AI的应用现状分析22 3.1AI赋能千行百业22 3.1.1AI分类及应用行业总览22 3.1.2AI在重点行业的应用情况24 3.2现有AI大小模型可信度问题带来的挑战26 ©2024云安全联盟大中华区版权所有7 3.2.1AI全生命周期面临的安全风险27 3.2.2AI应用实践与推广造成的社会危机28 3.3典型案例分析28 4AI可信度评估方法30 4.1数据质量与处理30 4.1.1数据来源30 4.1.2数据清洗30 4.1.3数据质量评估31 4.1.4数据标注31 4.1.5数据增强32 4.2模型设计与开发过程32 4.2.1模型设计与开发过程33 4.2.2如何在AI的设计开发过程中提高可信度33 4.3模型测试与验证方法36 4.3.1模型可信度测试与验证方法简介36 4.3.2模型可信度测试方法36 4.3.3模型可信度综合性能验证方法37 4.4持续监控与反馈机制39 4.4.1持续监控39 4.4.2反馈机制40 4.4.3整合与协同41 5提高AI可信度的策略与实践41 5.1政策与法规41 5.1.1全生命周期可信的制度建设43 5.1.2人工智能领域的监督制度建设43 5.1.3推动人工智能伦理治理43 5.1.4推动行业可信赖生态建设44 5.2行业标准与最佳实践44 ©2024云安全联盟大中华区版权所有8 5.2.1行业标准建设44 5.2.2最佳实践47 5.3教育与培训49 5.3.1加强专业人员培训49 5.3.2提升普通公民素养50 6案例研究50 6.1从训练到推理，全流程安全保障50 6.1.1案例详述51 6.1.2业务成效52 6.2大模型X光，从模型内部进行“诊疗”53 6.2.1大模型测谎53 6.2.2幻觉修正54 6.2.3方案优势54 7未来展望55 7.1AI可信度的发展趋势55 7.1.1政策法规55 7.1.2技术创新55 7.2潜在的技术与市场机会58 7.2.1技术机会58 7.2.2市场机会61 8结论64 9参考文献66 ©2024云安全联盟大中华区版权所有9 1引言 随着人工智能技术的不断演进，其在各行业的应用不仅带来了创新动力，也引发了关于可信度的广泛讨论和关注。深入理解这些背景和未来发展的关键趋势，有助于更好地应对AI技术带来的机遇与挑战。 1.1研究背景与重要性 1.1.1人工智能发展为社会发展注入新动能 人工智能（AI）技术自20世纪50年代诞生至今，已经经历了60余年的发展。从早期的逻辑推理，到机器学习与深度学习，再到大模型不断涌现，AI技术已经从专用智能逐渐迈向通用智能。其中，以大模型为代表的AI技术最新成果，已经成为了一种重要新质生产力，为经济社会持续发展注入新动能。 根据中国信通院发布的数据，我国AI产业规模从2019年开始快速增长，2021年 同比增长达到33.3%，2022年AI产业规模达到5080亿元，同比增长18%。到2023年，AI产业规模达到了5784亿元，增速放缓至13.9%。工信部统计数据显示，截至2023年6月，我国AI核心产业规模已达5000亿元，AI企业数量超过4400家，仅次于美国，全球排名第二。如今，AI已作为一项关键的革命性技术，在医疗、教育、交通等领域广泛应用，不断推进人类生产力发展，改善人们的生活方式。 1.1.2人工智能应用引发可信危机 尽管AI技术在广泛的应用中取得了令人印象深刻的表现，AI的应用过程也不断暴露出安全问题，引发了人们对AI可信度的担忧，主要体现在以下方面： AI的训练数据可能导致决策偏见。AI基础模型需要大量的预训练数据，并且AI算法的推理结果与训练数据集质量密切相关。如果AI的训练数据存在偏见或歧视，那么其决策结论也会反映出类似的问题。例如，据英国《新科学家》网站报道，在提供购房和租房建议时，AI存在明显的决策偏见，对黑人用户更倾向于推荐低收入社区。 AI算法存在脆弱性，容易产生模型幻觉，给出错误的信息，导致AI决策难以得到足够的信任。AI算法容易在训练数据上产生过拟合，若训练数据中存在噪声、错误或 ©2024云安全联盟大中华区版权所有10 不一致的信息，模型可能会学习到这些错误的知识，并产生幻觉。例如，ChatGPT等AIGC服务可能生成符合人类语言习惯但不准确、甚至错误的信息，如将登月第一人错误地回答为CharlesLindbergh而非NeilArmstrong。 AI容易受到数据投毒等针对性攻击，致使模型给出错误的判断，甚至输出错误的意识形态。数据投毒攻击，即有意或恶意地在数据集中篡改数据标签、添加虚假数据、引入有害内容，以此操纵、损害或欺骗AI的性能和输出结果，故意引导AI做出错误的决策。例如，在对话机器人领域，训练数据投毒可导致机器人发表歧视性、攻击性的不当言论，微软开发的Tay聊天机器人使用公开数据集进行训练，并受到投毒攻击，导致Tay从友好的对话者变成了一个充满歧视和偏见的AI，最终Tay投入使用仅1天，就被紧急关闭，以阻止其继续学习和传播不当内容。此外，数据投毒的危害不仅限于聊天机器人，它还可能影响自动驾驶汽车的安全性、智慧医疗诊断的准确性以及国家安全等多个领域。 AI可解释性较差，算法不透明。现有的AI大多基于深度学习技术产生，表现为一 个决策和输出缺乏透明度的黑匣子。由于无法直观理解AI做出决策的原因，人们往往难以给予AI足够的信任。 AI决策导致安全事故时的责任主体难以界定。从我国现行法律上看，AI本身仍未被认定为可能的侵权责任主体。因AI决策失误，导致搭载AI的产品发生侵权现象时，应该对AI研发者追责，还是对产品使用者追责，尚未有定论。在国外，2018年3月美国亚利桑那州发生了Uber的自动驾驶汽车在测试期间撞击行人并导致行人死亡的案件，事故责任认定充满争议。直到2020年9月，案件最终以驾驶员被判处过失杀人罪而告终，负责开发AI自动驾驶模型及产品的Uber公司则被判无罪。这起事故反映了AI决策导致安全事故的场景下，责任认定困难且对AI研发者缺乏监管的现象，引发了人们对AI可信度的担忧。 AI的恶意滥用不断降低人们对AI应用的信任度。随着深度合成、生成式AIGC技术的广泛赋能，出现了使用假脸欺骗身份认证、使用换脸、换音技术实施电信诈骗等恶意滥用AI的行为。例如，2023年5月，包头市公安局电信网络犯罪侦查局发布了一起使用智能AI技术进行电信诈骗的案件。案中，嫌疑人通过基于AI的视频、音频合成技术，伪装成受害人的微信好友，通过微信视频的方式骗取受害人信任，骗取受害 ©2024云安全联盟大中华区版权所有11 人钱财，涉案金额达430万元。 因此AI可信度已经成为制约AI技术可持续发展和安全应用的重要因素之一。 1.1.3可信人工智能成为全球共识 为了加快AI技术的高质量应用落地，世界各国不断出台政策法规，支持对AI可信度进行深入研究，发展可信的人工智能已经成为全球共识。 在国内，习近平总书记高度重视AI的治理工作，强调“要加强人工智能发展的潜在风险研判和防范，维护人民利益和国家安全，确保人工智能安全、可靠、可控。”2023年7月，国家网信办联合其他部门发布了《生成式人工智能服务暂行管理办法》，支持人工智能算法、框架等基础技术的自主创新、推广应用、国际合作，鼓励优先采用安全可信的软件、工具、计算和数据资源。 在国外，2022年10月，美国发布了《人工智能权利法案蓝图》，为AI设立了算法歧视保护、通知和解释清晰等五项基本原则要求，以保障AI的可信性。2024年1月，欧盟委员会、欧洲议会和欧盟理事会共同完成了《人工智能法》的定稿，制定了透明度、技术稳健型和安全性、非歧视和公平等七项原则，以确保AI值得信赖、符合伦理道德。此外，