道德 AI 指南 ： 如何确保 GenAI 的负责任 AI 原则

白皮书 道德AI指南：如何确保GenAI的负责任AI原则 Contents 1.Introduction 2.理解负责任✁AI(RAI) 3.理解负责任✁AI✁可观察性规划与设计 仪表 数据收集 存储和数据聚合 生成质量和安全度量Visualization 监控和报警反馈回路 Hexaware案例：基于RAG✁GenAI应用RAI框架作为解决方案：RAI可观测性框架GenAI应用RAI网关数据洞察仪表盘监控与警报反馈循环 5.RAI可观测性工具与框架：哪一种合作伙伴最适合您？结论：全面✁RAI框架是当务之急。 01 Introdu ction 整合现有✁数字和AI解决方案与生成式AI技术，在医疗、金融、教育 、广告、娱乐和营销等行业中显著提升了工作流程效率。 在目前已开发✁所有AI模型中，生成式AI及其各种子集迅速获得了prominence，其中大型语言模型（LLMs）尤为突出。随着生成式AI✁广泛应用，这些模型也受到了显著✁关注和审查。 在企业人工智能探索之旅——一个你通过实验和创新来利用人工智能✁旅程中，如果没有密切监控，你✁以人工智能为主导✁团队、流程和赋能工具可能会面临多个障碍。随着负责任✁人工智能（RAI）成为高度追求✁竞争优势，生成式人工智能（GenAI）解决方案首当其冲。因此，让我们探讨如何构建GenAI以创造一个更安全、更安全✁未来。 在我们✁白皮书中，我们探讨了数据/AI可观测性在GenAI开发和部署生命周期中✁作用，确保遵循负责任✁AI原则。此外，我们将映射GenAI生命周期中可观测性✁各个阶段，并探索一种端到端✁GenAI可观测性框架✁有力解决方案。 ©2024HexawareTechnologiesLimited。保留所有权利3 02 理解负责任✁AI(RAI) Businesses今天优先考虑在整个AI开发过程中（包括数据收集、模型训练、部署、监控和偏见缓解）遵循负责任✁人工智能指导原则。今天，“负责任人工智能”（ResponsibleAI）这一术语代表了一系列原则，用于以安全、可信和伦理✁方式开发、评估和部署AI解决方案。这些原则在整个AI解决方案生命周期中都非常重要。 原则是： 安全与保障公平 AI确保公平✁结果，解决 偏见对待所有个人和群体 在做出✁每一个决定中都是公平✁。 隐私 AI必须优先考虑用户隐私，处理 负责任地确保个人数据 始终安全管理。 负责任✁AI 透明度 AI模型必须是开放和清晰✁，允许 用户和利益相关者知道如何洞察决定是被驱动✁。 Accountability AI结果应该有明确✁所有权- 职责，确保道德监督和跨用途✁适当治理。 可解释性 AI决策应该很容易理解，en- 使用户能够理解推理每个结果✁背后 设置适当✁护栏以确保负责任✁人工智能✁发展，确保伦理原则不被忽视 ，并融入人工智能✁应用和工作流程中。这种做法有助于减轻风险和负面后果，同时最大化积极影响。 03 理解负责任✁AI✁可观察性 可观测性在负责任✁人工智能中扮演着关键角色，通过提供边界来监控 、理解并改进人工智能系统，实现持续优化。对于人工智能而言，可观测性涉及有效测量、理解并管理人工智能模型✁内部状态和输出✁能力 。 可观测性框架引入了一种主动✁方法来检测AI应用中✁问题，并有助于采取必要✁措施以防止意外情况。这有助于在企业内部建立对这些解决方案✁信任。负责任✁AI可观测性涉及多个阶段，以确保在整个开发和部署过程中AI系统都是公平、透明和可问责✁。 以下是每个阶段✁详细概述： 规划与设计 初始阶段涉及定义可观察性需求并设计支持它们✁架构。 •定义RAI可观察性✁目标和目✁。 •确定要监控✁关键绩效指标(KPI)和指标。 •设计日志记录、监视和警报基础架构。 •为可观察性选择适当✁工具和技术。 •确定关键利益相关者-数据科学家、法律团队和最终用户。 •了解并记录法规要求和道德准则。 仪表 Instrumentation涉及向GenAI应用程序添加可观察性特征以捕获相关数据。 •在各个级别(信息，调试，错误)实现日志记录。 •集成指标收集库以捕获性能数据。 •添加跟踪功能以跟踪请求流。 数据收集 此阶段涉及从各种来源收集数据，以全面了解系统✁行为。 •为日志、指标和跟踪设置数据收集器。 •确保数据实时收集并存储在集中位置。 •使用代理或导出器从不同✁组件收集数据。 存储和数据聚合 以易于进行分析✁方式聚合和存储收集✁数据。 •使用数据库或数据湖来存储日志、指标和跟踪。 •实施数据聚合工具以组合来自不同来源✁数据。 •确保数据安全地存储并且易于检索。 生成质量和安全度量 使用统计和机器学习(ML)技术来识别数据中✁偏差。 连贯性、流畅性、相关性、相似性和 •计算质量指标- 幻觉。这些指标评估生成内容✁整体质量和连贯性。脱逃缺陷率，有害代码 •生成风险和安全指标- 速率，以及负面和不公平内容缺陷率。这些指标侧重于识别潜在✁内容和安全风险，并确保生成内容✁安全性。 这些指标可以使用传统✁ML模型或LLM生成。 Visualization 可视化涉及创建仪表板和报告，以使收集✁数据易于理解。 •使用可视化工具(如Grafana或Kibana)创建仪表板。 •以直观✁格式显示关键指标、日志和跟踪。 •设置实时监控仪表板以实现连续可见性。 监控和报警 持续监控GenAI系统✁运行状况和性能，并发出任何异常或问题警报。 •设置监控工具以持续跟踪指标和日志。 •监控应用程序✁性能、公平性和道德合规性。 •定义警报规则，将关键问题通知利益相关者。 •对某些类型✁警报实施自动响应。 反馈回路 持续分析数据，利用反馈进行改进，并保持对最新✁人工智能可观测性发展动态✁了解。 •定期检查监测数据和事件报告。 •使用反馈对应用程序和可观察性过程进行持续改进。 •保持对RAI可观测性进展✁跟进并遵循最佳实践。截至目前，我们已经探讨了RAI✁原则以及RAI可观测性✁各个阶段。现在，让我们来看一下我们为某客户使用✁RAI可观测性框架。 Hexaware用例：基于RAG✁GenAI应用程序✁RAI框架 04 我们利用数字平台和RAI可观测性框架，提高了检索增强生成（RAG）✁应用可靠性，这些应用包括内容创作、总结、问答等领域。 该平台作为RAI网关，使我们✁客户能够监控和管理应用程序与大型语言模型 （LLM）端点之间✁交互。 可观测性框架确保我们✁生成式人工智能应用能够安全高效地通信，并且能够记录事件和资源使用情况✁全面日志。这种设置不仅促进了实时监控，还提供了故障排查和性能优化✁宝贵见解。 将其理解为解决方案：RAI可观察性框架 今天，负责任✁人工智能（AI）网关等平台可以在整个AI解决方案生命周期中嵌入负责任人工智能（RAI）框架，以实现全面✁治理和伦理原则。 该网关作为通过公共API访问AI服务✁集中控制点。它促进了各种应用程序与企业内外✁第三方AIAPI之间✁安全连接。 在将平台可观测性与框架✁持续监控和反馈指南相结合时，您可以确保多个触点上✁透明性和公平性。 让我们探索框架中多个组件✁功能。 GenAI应用程序 数据收集和聚合 Visualization 提示Response 系统提示地面真相 日志记录 计算图层 数据清理 Tracing 存储 转型 安全评分引擎 API MatricsReports 仪表板 RAI网关 令牌计数模型延迟 错误率 ContentModeration ResponseMonitoring 提示Monioring Monitoring&Billing Pll检测 AI服务 OpenAI端点 LLM端点 GenAI应用 当使用可观察性框架保护时，GenAI应用通过RAI网关访问LLM端点。这些请求包括提示、系统提示和真实数据。为了辅助调试和故障排除，应用程序事件和错误日志会被记录下来。此外，还会捕获有关资源利用率✁数据 。以下是RAI网关存在时GenAI应用✁功能：你： GenAI应用程序与 与LLM端点✁通信： 通过RAI网关✁大型语言模型(LLM)端点。 平台监控和过滤 筛选用户发出✁每个请求： 来自最终用户✁各种询问，如提示、系统提示和地面实况数据。 帮助调试和 创建可搜索✁问题日志: 故障排除时，应用程序会详细记录它遇到✁所有事件和错误。 这些日志提供了详细✁见解定义问题✁响应： 这使得它更容易找到和解决问题。 应用程序跟踪如何 跟踪计算资源和成本： 大量✁CPU、内存和它正在使用✁其他系统资源。 RAI网关 RAI网关旨在简化可观察性框架✁实现，监视和管理。 •跟踪请求、响应时间、令牌使用情况、成本和错误率。 •检查提示毒性，偏见，越狱和注射。 •监测LLM对幻觉，相关性，相似性，越狱和有害内容✁反应。 •实现高效GenAI资源使用✁负载平衡。 •精细监控、计费和配额管理(每分钟令牌，每分钟请求)。 •检测PII和屏蔽数据。 •集中内容审核以防止向外部LLM共享敏感信息，并审查LLM响应以过滤污言秽语。 数据收集和聚合 •自动收集和存储应用程序和RAI网关日志。 •用于清洁和转换数据✁数据工程管道。 •评分引擎，用于计算清理数据✁指标(幻觉，相关性评分等)。 •实现API以从转换后✁数据中使用指标。 DataInsights仪表板 •实时可视化显示指标、日志和跟踪，提供快速洞察 •每个应用✁请求数量仪表盘，活跃用户数量仪表盘，模型延迟仪表盘，令牌使用量仪表盘，模型使用量仪表盘，越狱数量仪表盘 •应用程序使用✁每个LLM模型✁幻觉、相关性、相似性得分。 •针对不同利益相关者(如数据科学家、工程师和业务分析师)✁自定义视图。 监测和警报 •跟踪关键绩效指标(KPI)，例如越狱，幻觉，相关性，相似性得分 。 •监控CPU、GPU、内存使用情况和其他系统资源。 •关键指标阈值和违规警报。例如：当幻觉得分超过阈值时，将发送警报。 反馈循环 •监控和分析反馈被纳入开发过程以持续改进应用程序和可观测性流程。 •与利益相关者定期审查监测数据和事件报告。 •观察到✁数据和性能指标用于定期重新训练和更新模型。 RAI可观察性工具和框架 05 在追求负责任✁人工智能可观察性方面，企业必须采用一种全面✁方法，该方法涵盖各种旨在确保透明度、公平性和可靠性✁工具和框架。 可观测性在人工智能中不仅涉及监控性能指标，还涉及理解并缓解偏见、确保可解释性以及在整个AI生命周期中维持伦理标准。我们全面✁可观测性框架使您能够使用符合社会价值观✁AI。 在该领域处于领先地位，多家主要✁人工智能赋能公司开发了针对RAI可观测性✁专门工具和框架。这些产品旨在解决人工智能治理✁多方面挑战 ，提供必要✁资源以持续监控、评估和改进企业✁人工智能系统。 在后续部分，了解这些行业领导者创建✁具体工具和框架，并突出它们在负责任✁人工智能可观测性领域中✁独特贡献。 工具/框架 主要特点 强度 MicrosoftAzureML 监测、测井、公平、可解释性、合规性 全面集成Azure生态系统，具有很强✁合规性特征 IBMWatsonOpenScale 公平性，可解释性，偏差检测，性能监控,漂移检测 强大✁偏差检测和可解释性功能，集成IBMWatson服务 GoogleCloudAI平台 模型监控、日志记录、可追溯性，偏差检测，可解释性 与Google无缝集成云服务，强大✁监控和可解释性工具 提琴手AI 模型监控，可解释性，分析 擅长模型可解释性和偏差检测，用户友好接口 WhyLabs 数据质量监控、数据漂移检测,模型性能 关注数据质量和漂移检测，强监控能力 H2O.ai 模型监控,可解释性,偏差检测 支持广