零售业中的 AI 与人权

AI与人权 Retail 2023年4月 Introduction01 AI的使用the02 零售业 人权影响of04 零售业中的AIRecommendations11 BSR|介绍1 这是关于人工智能（AI）技术如何推动零售业变革的行业入门，以及从人权角度来看这一趋势带来的挑战和机遇。 随着零售业继续数字化转型，零售商需要考虑人工智能的影响，主要有三个原因： HumanRights 技术转型带来复杂、微妙、全系统的风险和 实现人权的机会。这些风险和机会都与设计and发展技术，以及技术是如何已部署 andused公司，如零售商。 不断发展的监管环境 监管格局的变化，包括欧盟提出的《企业可持续发展尽职调查指令》和《人工智能法》，表明技术行业以外的公司将需要 更好地了解他们部署的AI解决方案对人权的影响。值得注意的是，使用AI的公司，而不仅仅是销售AI的公司，都被视为拟议的欧盟AI法案的范围。 缺乏公司流程 在与零售公司的初始接触中， BSR观察到，大多数零售商没有内部流程来审查AI应用程序的道德维度 一些零售商已经开始解决人工智能道德问题 ，并组建了致力于负责任技术使用的内部团队， suchasH&MGroup’sResponsibleAIteam.However,theseareexceptioninanindustrythatislargelyunawareoftheemergent 算法决策的风险。 在这种情况下，BSR已开始与零售公司和向他们提供AI服务的技术公司合作，以更好地了解AI的当前用例，相关的人权风险以及解决 Thoserisks.Thisprimersummarizesourfindingsandobservationsfromtheseengagements 并就如何解决人工智能对零售业的人权影响向零售业的公司提出初步建议。 本入门并不旨在全面评估整个零售业的人权影响。相反，它引入了与越来越多地使用人工智能技术相关的突出人权问题 零售业。本入门书中概述的调查结果旨在成为起点；希望进一步探讨这些问题的零售公司应进行更全面的人权尽职调查。1 BSR欢迎零售公司对此主题的投入。 如果您想加入对话，请联系LaleTekisalp或HannahDarnton。 BSR|AI在零售业中的使用2 人工智能在零售业中的应用 随着零售业的数字化转型，越来越多的数字技术被组合使用，以在零售店和零售供应链中创建自动化流程。 零售业是人工智能领域支出最多的行业之一，到2020年，零售公司在人工智能技术上的支出超过50亿美元。2零售公司使用AI解决方案来解决各种业务需求。根据2020年的一份报告，AI在零售业中的主要用例包括客户关怀，质量控制，库存管理，产品和服务的个性化 ，定价和欺诈检测。3 零售中的AI用例 受访者的份额 从Statista重新创建 60% 50% 40% 30% 20% 10% 48%47%47% 36% 29% 24% 0% 客户关怀 质量控制 库存管理 产品、服务的个定价性化 欺诈检测 详细信息:全球：2020年1月至2月：1,000*：C套件高管，董事，AI负责人，数据或分析负责人；问卷调查和个人访谈 BSR|AI在零售业中的使用3 在与公司的对话中，我们观察到一些用例在零售业务中变得越来越重要，特别是在后 COVID的世界中。 在供应链中，人工智能解决方案可帮助零售商预测其产品和服务的需求 ，从而帮助他们优化库存并就产品分类和定价做出决策。 随着电子商务在全球变得越来越普遍，AI解决方案通过改进的产品搜索和个性化产品推荐，帮助消费者在零售商的电子商务网站上找到产品。 在零售店，人工智能解决方案用于自动自助结账、为客户提供店内帮助 、跟踪客户行为、定制客户体验和检测入店行窃。面部识别软件用于识别客户和监控社交距离措施。使用视频智能解决方案 分析占用率或检测库存和库存的变化。 各种规模的零售店在世界各地都以各种方式数字化——从印度的小商店到美国的超市。沃尔玛的智能零售实验室(IRL)提供了零售店未来可能会是什么样子的例子，包括智能摄像头和传感器， 以及分析从这些设备收集的数据的店内数据中心。 随着零售业继续走向自动化，人工智能的用例及其对人权的影响将继续发展。除了上述用例之外 ，零售商还在业务运营中使用人工智能解决方案，包括财务和人力资源。但是，由于这些是与行业无关的用例，因此我们在本入门中并未重点介绍它们。 BSR|AI对零售业的人权影响4 人工智能对零售业人权的影响 人工智能技术的使用可能会减轻或加剧零售业现有的人权影响。在本入门中，我们主要关注人权风险 人工智能技术可能导致和可能加剧零售业已经存在的不利人权状况的方式。 通过我们与零售商和为他们提供人工智能服务的技术公司的合作，我们确定了六类主要风险： 1.隐私和监控 2.非歧视 3.获得商品和服务 4.劳工权利 5.人类自治 6.获得健康的环境 以下我们列出了与这些类别相关的突出人权。但是，重要的是要注意所有人权都是不可分割，相互依存和相互关联的。一项权利的改善有助于其他权利的进步；一项权利的剥夺对其他权利产生不利影响。 BSR|AI对零售业的人权影响5 1.隐私和监控 随着人工智能解决方案的使用，零售商可能会以侵犯隐私权的方式收集、利用和共享客户数据。特别是与其他数据结合使用时（例如Procedre，零售商已经拥有的客户信息），AI解决方案可能会提供影响个人隐私的见解，或允许超出客户最初预期或同意的用例。 例如，人工智能驱动的视频监控可能包括面部识别，可用于识别忠诚度计划客户并为他们提供特殊促销，或者根据对入店行窃者外观和外观的假设来识别潜在的入店行窃者 即使是专注于对象识别(例如,跟踪货架库存) 的应用也间接地涉及人的监视。 随着数据使用的增加，零售商可能会收到更多执法机构的要求，要求他们共享数据或人工智能解决方案随时间进行的分析结果。 这可能导致侵犯个人权利。例如，零售店的视频片段可以用作执法和情报工作的一部分。 可能受到影响的人权 •隐私权（《世界人权宣言》第12条） •请注意，侵犯隐私可能会对其他权利产生次要影响 包括生命权、自由和安全权，以及不受任意逮捕的自由。 BSR|AI对零售业的人权影响6 2.非歧视 零售商使用人工智能解决方案来个性化消费者体验可能会导致个人受到种族、性别 、年龄、残疾或其他方面的歧视 受保护的类别。歧视可能表现出两种主要方式: A)AI解决方案可以区分(例如,由于用于训练AI模型的历史数据集中存在的偏见)〇例如,目标广告或产品推荐可以通过基于偏见假设推荐清洁用品来区分女性。 B)AI解决方案收集或生成的信息可能会被用于歧视性 例如，零售员工可能会使用视频监控数据来歧视少数民族。 同样，基于用户信息的在线价格差异化可能会导致 对某些个人或人口的歧视性结果。另一方面，使用人工智能可以帮助公司根据消费者的偏好更公平地设定价格。 当客户在零售店被错误识别时，也会发生歧视 。例如，有缺陷的面部识别软件可能会导致非法入店行窃的指控. 可能受到影响的人权 •不歧视和平等待遇的权利(《世界人权宣言》第二条 ；《公民权利和政治权利国际公约》第二条第一款和第二十六条) BSR|AI对零售业的人权影响7 可能受到影响的人权 •适足生活水准权(《世界人权宣言》第二十五条 ；《经济、社会、文化权利国际公约》第十一条) •健康权(《经济、社会、文化权利国际公约》第12条) •科学和文化权（《世界人权宣言》第27条，《经济、社会、文化权利国际公约》第15条） 3.获取商品和服务 零售商使用人工智能解决方案来做出供应链决策并提供产品推荐可能会导致更有效和公平的商品和服务分配。例如，如果零售商知道某个地点的收入水平较低，则产品分类可以 更有效地解决客户偏好和预算(或钱包)。 另一方面，可以使用相同的解决方案来限制某些商品和服务的访问 例如，使用基于历史购买趋势的需求预测解决方案的零售商可能会继续限制“食品沙漠”中的健康杂货选择，或者仅在某些社区中提供对某些类型书籍的访问。 BSR|AI对零售业的人权影响8 可能受到影响的人权 •获得理想工作的权利(《世界人权宣言》第二十三条) •结社自由权(《世界人权宣言》第二十条) 4.劳工权利 使用人工智能解决方案来提高零售运营效率可能会改善劳动力计划。这可能会导致整个零售价值链（例如，产品制造和采购，履行和交付，商店运营等）的工人的工作时间表/工资更加稳定。 可能会更好地了解特定零售地点何时拥有大量客户，并相应地计划人员配备和转移。 另一方面，人工智能解决方案可能会被零售商用于自动化的劳动力调度，这可能会导致整个零售价值链中工人的工作时间表/工资不稳定。 例如，基于近实时的需求预测见解，零售商可能会朝着 自动或“及时”调度，以响应 需求，给工人很少的时间来调整他们的时间表 ，导致不稳定的工作时间表和收入的不确定性 。4 在零售商店，旨在监控客户的解决方案 ，例如监控摄像头，可以用来监控商店员工。例如，摄像头可以用来查看员工在白天使用洗手间或休息祈祷的次数。侵犯员工隐私可能会对劳工权利造成不利影响。 BSR|AI对零售业的人权影响9 5.人类自主性 使用人工智能解决方案来预测需求和个性化客户体验可能会导致客户的行为分析，以预测他们想要或需要什么，从而引导他们沿着某些购买路径前进。 人工智能模型做出的决定表明人类失去了自主权，并可能侵犯了思想自由权。 例如，在完全自主的商店中，零售商可以跟踪商店中的个人，以预测他们将购买什么或哪些 他们接下来将访问的过道。这些信息随后可能会用于店内 基于客户行为的广告或基于客户下一步将购买什么的预测的个性化促销。 随着公司越来越多地围绕消费者数据的收集和货币化来塑造他们的商业模式(即， 监视资本主义），可能会对思想自由以及人类自主权和尊严产生长期影响。5 可能受到影响的人权 •人的自主权和尊严（《世界人权宣言》第1条） •思想自由权(《世界人权宣言》第十八条) •见解和言论自由权（《世界人权宣言》第十九条） BSR|AI对零售业的人权影响10 可能受到影响的人权 •获得健康环境（联合国人权理事会第48/13号决议） 6.获得健康的环境 使用AI解决方案改善供应链运营可能会提高零售价值链的效率，从而对个人的权利产生积极影响 健康的环境。例如，当使用需求预测模型时，零售商可以优化最小数量的浪费产品，或者他们可以优化交付路线以提高能源效率。 使用AI解决方案改善客户体验可能会导致破坏环境的购买行为长期存在，从而对环境产生负面影响，或者促进可持续消费习惯，从而对环境产生积极影响。 BSR|建议11 Recommendations 负责任的AI挑战通常需要公司的各种功能参与。对于尚未有专门团队解决这些问题的公司，我们建议通过涉及以下功能来开始流程： A)可以从中心角度管理问题的团队，例如：可持续性，人权，道德，法律合规 B)使用AI技术的团队，例如：供应链，市场营销，客户服务，人力资源 C)开发或购买AI技术的团队，例如：技术，产品，IT，研发，采购 为了减轻任何不利的人权影响，公司可以采取包括但不限于以下行为的行动。 1.盘点公司内部的AI用例 重要的第一步是了解整个业务中不同职能部门如何使用人工智能。公司应该联系上面列出的团队，询问他 们在工作中如何使用或计划使用人工智能技术。然后，公司应该列出这些用例，并优先考虑那些可能风险较高的用例。 2.进行人权尽职调查 为了确定和解决他们正在使用的人工智能解决方案对人权的实际和潜在影响，公司应该首先进行人权尽职调 查(*6)，这一过程专门评估对人们的风险(而不是公司可能面临的其他风险)。人权尽职调查应持续进行，因为人工智能技术的使用方式可能会随着时间的推移而改变。除了持续的尽职调查外，公司在开发、使用或采购可能对人权构成风