数字安全设计干预和创新工具包：网络危害的类型学（英）

数字安全工具包设计干预措施和创新： 在线危害的类型 INSIGHTREPORT AUGUST2023 图片:GettyImages，Unsplash Contents 前言3 执行摘要4 1Introduction5 2在线危害的类型7 2.1对个人和社区安全的威胁7 2.2对健康和福祉的危害8 2.3仇恨和歧视9 2.4侵犯尊严10 2.5侵犯隐私10 2.6欺骗和操纵11 3结论12 附录：资源13 贡献者15 尾注16 免责声明本文档由 世界经济论坛作为贡献 到项目、洞察区域或交互。 fi的定义、解释和 这里表达的结论是一个结果促进和 世界经济论坛但其结果不一定 代表世界经济的观点 论坛，或其全体成员， 合作伙伴或其他利益相关者。 ©2023年世界经济论坛。所有权利reserved.Nopartofthispublicationmay以任何形式复制或传播 或以任何方式，包括影印 和记录，或通过任何信息存储和检索系统。 2023年8月数字安全设计工具包 干预和创新：在线危害的类型 前言 朱莉·英曼·格兰特澳大利亚电子安全专员 DanielDobrygowski头，治理和信任，世界经济论坛 亚当·希尔德里斯创始人CrispKroll业务 MinosBantourakis 头,媒体,娱乐体育产业, 世界经济论坛 互联网将世界变成了一个全球性的村庄，连接来自不同角落的人们世界轻松快捷。然而，它也有加剧了各种社会危害，如欺凌骚扰、仇恨言论、虚假信息和 激进化。这些危害的放大fi阳离子有深远的后果，影响个人， 社区和社会。 虽然互联网本质上是全球性的，但危害可能是高度局部或上下文特定的fic：独特的风险可能出现在不同的国家或地区或不同的 社区。文化规范等因素， 法律制度和社会价值在fiuence中如何个人感知和响应在线威胁。 在这种情况下，重要的是要承认数字安全需要一系列复杂的 审议、平衡法律、政策、伦理、社会和技术考虑。数字安全 决策必须植根于国际人类 在线危害的类型学，如 这份报告。这份报告打算努力创建通用术语和共享术语 在讨论在线危害时理解 跨司法管辖区。此外，它旨在促进关于在线危害的对话，但它没有着手提供任何严重性评级或将被使用为了遵守法规。 联盟，打算促进合作 数字安全，通过创建此文档广泛的研究、合作和专家 协商。这种类型学补充了其他 SignifiCant联盟的出版物，包括 全球数字安全原则,已发布3 2023年1月，它认识到有必要推进对在线危害的共同理解 问题。它也补充数字安全风险行动中的评估：框架和银行 案例研究，于20423年5月推出。一起， 权利框架。1这些出版物提供了宝贵的资源 政策制定者，行业领导者，公民社会 为了解决复杂的景观危害 在网络空间中，世界经济论坛的 全球数字安全联盟正在发展2 组织、研究人员和个人，帮助解决网上有害内容的问题 以全面和尊重权利的方式。 执行摘要 在线危害的类型学旨在提供一种基础通用语言，促进多利益相关方和跨司法管辖区讨论推进数字安全。 类型学考虑到区域和 本地上下文。它承认 复杂和互连的性质 在线安全，包含 内容,联系人和进行风险。 由全球工作组开发 数字安全联盟，包括来自行业、政府、 公民社会和学术界，这种类型学服务作为促进多利益相关方的基础 讨论和跨辖区对话 到fi和通用术语并共享了解在线安全。 在线危害的类型学是不可或缺的一部分数字安全设计干预工具包 和创新，关键工作流之一由全球数字安全联盟发起。 此工具包旨在define在线危害和确定潜在的技术、政策、流程 和设计需要推进的干预措施 以尊重权利的方式提供数字安全。由与促进共享的承诺保持一致 通过A了解在线危害问题 多利益攸关方对话，以及呼吁政府明确区分非法 内容和合法但可能是 有害的概述全球数字原则安全，类5型学补充了联盟的 努力促进数字安全，同时尊重 个人的权利。它也可以被有效地利用与数字安全风险评估 在行动中，6因为这种类型提供了一种常见的用于分类和defi的语言 需要评估的在线危害类型。 考虑到互联网的全球性和在线危害的当地影响，类型考虑到区域和当地的情况。 它认识到复杂和相互联系的性质在线安全，包括内容，联系人 和进行风险。同时认识到 作为第四个“C”的合同，对儿童的影响风险 与商业化和数据fi阳离子有关，这7 类型学使用“三C”框架来包含 广泛的最终用户的在线安全风险。它 对这些危害进行分类，包括对个人的威胁和社区安全，如儿童剥削 和极端主义内容，对健康造成的伤害内容促进自杀或饮食失调和 通过欺凌侵犯尊严和隐私 以及骚扰、欺骗和基于形象的虐待。欺骗和操纵，如虚假信息 和被操纵的媒体，也得到了解决。 虽然本出版物不特别涵盖fi 新兴技术，如隐喻， Web3或生成AI，它强调需要不断发展的进程 随着技术进步和他们的社会影响。为此，联盟还将在开发一个概念和全面的框架，以确保在线方法危害是未来的证明。 除了在线危害的类型学之外， 联盟正在准备两份即将发布的报告，将补充这项工作。fi第一次报告，风险因素、度量和测量，重点是 评估不利影响风险的方法 来自在线危害，以及fi的好处 缓解行动，第二个，基于解决方案干预措施，借鉴设计安全原则 和最佳实践，以提供资源来协助公司在有效识别和减少 数字风险，防止伤害，促进信任和安全。 1 Introduction 在线危害的类型学作为一种建立通用术语的基础 以及对多样化的共同理解 在线出现的风险范围，包括在生产、分销和 内容消费。 在线危害包括各个方面，包括伤害内容生产和 分布，以及内容的危害消耗量: –内容生产的危害-对于 例如，当一个人受到身体伤害时，并按顺序记录或流式传输虐待 创建在线材料。这可能包括谋杀、袭击或 对成人或儿童的性虐待。 –内容分配的危害-对于 例如，一个人的亲密形象是自产自销和自愿分享的， 后来在网上共享和分发，没有他们的同意。那个人可能不是在内容的生产中受到损害，但一旦他们的亲密形象受到伤害 shared.Similarly,victorswhoarethesubject 在制作内容时可能面临的滥用当内容为 分布式。那些film、分享或消费的人内容也有受到伤害的风险。那个人此类内容中的客观fi也受到损害 因为该内容的分发可以强化对某些人的消极态度 人口。扩增或重新分享仇恨关于少数群体的评论是 加强对 代表性不足的群体，长期存在的偏见并进一步伤害这些人。 –内容消费的危害-对于 例如，一个人受到负面影响 由于看到非法的，年龄不合适的，潜在危险或误导性内容。 在线危害也可能由于在线而发生与他人互动(联系人)并通过 并认为有必要解决在线危害 尊重权利的方式。危害可能是并发的并且相交，并且它们的分类不是始终独占。例如，虽然基于图像滥用包括在隐私标题下， 它也可能与对人身安全的危害有关和健康和福祉。同样，儿童性剥削和虐待是对个人和 社区安全，有害健康和福祉，侵犯尊严和侵犯隐私. 在线危害也可能构成更广泛的一部分可能发生在一系列 技术，包括实施的行为 在线和fi线，风险向量可能重叠对于某些伤害。例如，当儿童性滥用材料(CSAM)主要被列为 内容风险，它可以作为 接触或行为的结果，如修饰性勒索. 通过在网上陷害人权 镜头，这种类型学强调对个人用户，旨在提供广泛的 对危害进行分类以支持全球政策发展。它指出，有区域 关于特定fic危害如何被DefiNed的差异在不同的司法管辖区，并且没有 关于如何去fine或 分类常见的危害类型。考虑 在线伤害的上下文性质，类型学并不旨在提供精确的defi定义在所有情况下普遍适用。 根据全球数字安全原则，这种类型强调了 平衡不同的权利，承认所有在线伤害的类型有可能非法剥夺个人参与和参与的权利在网上表达自己。 技术促进的行为(行为).在这个阶段，这在很大程度上取决于个人在线服务提供商建立规则和准则 以下危害类型建立在现有和新兴的国际方法 理解和减轻在线危害，如 在本文档的参考资料部分中列出， 对于属于或属于的活动和内容的类型不允许在社区内的平台上 准则或服务条款。但是，这些可以在服务之间显著发散fi。 这种类型可以帮助公司，包括那些在早期阶段，了解范围可能对其用户造成的在线危害 服务-以及它们对受害者的影响，不同的滥用模式和可能的因素 有助于伤害。此外，类型学可以帮助政府通过建立共享语言 识别在线危害并促进 寻求参与的民间社会组织 在多利益相关方讨论中，倡导 一个更安全的在线生态系统。通过使用这种类型，所有部门的利益相关者都可以促进 应对挑战的协作方法由在线危害构成。 对公司和品牌的损害(例如版权侵权)不在本范围内 类型学。类型学不旨在规定为应对危害而采取的行动 它是否试图为危害分配严重等级。此外，类型学侧重于在线 危害影响个人和社会，但是不能被认为是完全详尽的 所有类型的伤害(例如虐待动物)。它确实为多利益相关方提供共同的基础 讨论以开发共享术语 和对在线危害的理解。在确定对内容或行为的适当干预 属于这些伤害类别中的任何一个，更广泛的国际人权背景 公约需要考虑，就像 内容和内容的潜在上下文异常 具有新闻价值、教育性、艺术性或还有其他优点。 可能影响未来技术的危害 范式，包括隐喻和Web3，是 本报告中没有概述。然而，作为下一步，联盟将开发一个面向未来的框架 关于在线危害，以帮助不同的利益相关者保持随着技术的进步。 2 在线的类型学 危害 类型学识别复杂的和互联的在线性质 安全、包含内容、联系和进行风险。 2.1对个人和社区安全的威胁 尽管在线危害通常针对 一个人，他们有更广泛的社区和社会影响。同样，社会危害有个人影响和后果。 《联合国人权公约》 儿童第25号一般性意见断言：“国家各方应采取立法和行政 保护儿童免受暴力侵害的措施数字环境，包括定期审查，更新和执行强有力的立法，监管和体制框架保护 来自所有公认和新兴风险的儿童 数字环境中的暴力形式。“8 《世界人权宣言》第三条 权利指出：“每个人都有生命权， “人的自由和安全”。9 a.内容风险 1.儿童性虐待材料（CSAM）以任何方式表示 儿童从事真实或模拟的露骨性行为活动或任何性的表现 孩子的部分主要用于性目的。虽然许多国家的法律继续 使用“儿童色情”一词，有是一场全球性的使用运动 “儿童性虐待材料”（CSAM）正确传达性别化的材料 描绘或以其他方式代表儿童是确实是孩子的一种代表和形式性虐待。10 2.儿童性剥削材料(CSEM) 性化和剥削性的内容 孩子，无论它是否显示了孩子的性虐待。 3.支持恐怖的材料 鼓吹从事恐怖分子的材料 采取行动是因为它建议、促进、鼓励或敦促从事恐怖行为，提供 关于从事恐怖行为或直接赞扬在 存在重大风险的情况 这样的赞美可能会产生领导的效果从事恐怖行为的人。11 4.赞美、促进、荣耀fies的内容或支持极端主义组织或 个人 包括鼓励参与的内容 在，或打算招募个人，暴力极端主义组织-包括恐怖分子组织,有组织的仇恨团体,犯罪组织和其他非国家武装团体 以平民为目标-带有名字，符号，标志、flags、口号、制服、手势、致敬,插图,肖像,歌曲,音乐, 歌词或其他旨在代表暴力的对象极端主义组织或个人。 5.暴力图形内容 促进、煽动、提供 指示或描绘包括谋杀在内的行为，谋杀、酷刑、强奸和绑架未遂 另一个人使用暴力或威胁暴力。重要的是要考虑 此内容可能存在的各种上下文出现，包括谴责/提供信息目的和在记录的上下文中 侵犯人权。 6.煽动、促进或便利的内容暴力 包括包含直接和 c.行为风险 1.技术促进滥用(TFA) 间接威胁暴力和恐吓。使用数字技术来启用、协助或 扩大对某人的虐待或强制控制，或 7.促进、煽动或指示的内容危险的身体行为 宣传、煽动或提供的内容在非 可能导致严重的专业背景伤害或死亡的用户或成员公众。 b.接触风险 1.对性虐待的修饰 当有人故意使用互联网与年轻人建立情感联系 人降低他们的抑制，并使其更容易与他们发生性接触。