Ethical AI Guidebook: Ensuring Responsible AI Principles for GenAI
1. 引言
- 集成现有的数字和AI解决方案与生成式AI，显著提升了医疗、金融、教育、广告、娱乐和营销等行业的工作流程。
- 生成式AI及其各种子集迅速获得关注，特别是大型语言模型（LLMs）。
2. 责任AI（RAI）的理解
- 责任AI涵盖了公平性、安全与隐私、可问责性、透明度和可解释性等原则。
- 在整个AI开发和部署生命周期中，企业应遵循这些原则，以确保AI应用的安全、可信和伦理。
3. 观测的重要性
- 观测在责任AI中起着关键作用，通过监控、理解和改进AI系统，提供必要的护栏。
- 观测框架有助于检测AI应用中的问题并采取必要措施，从而增强企业内部对这些解决方案的信任。
4. 观测的各个阶段
- 规划与设计
- 定义观测目标和架构。
- 确定关键性能指标（KPIs）和监测指标。
- 设计日志、监控和警报基础设施。
- 选择合适的工具和技术。
- 确定关键利益相关者（数据科学家、法务团队和终端用户）。
- 了解并记录监管要求和伦理准则。
- 仪器化
- 在生成式AI应用中添加观测功能，捕获相关数据。
- 实施不同级别的日志记录（info, debug, error）。
- 集成指标收集库以捕获性能数据。
- 添加跟踪能力以追踪请求流。
- 数据采集
- 从各种来源收集数据，获得系统的全面视图。
- 设置数据收集器以捕获日志、指标和跟踪数据。
- 确保数据实时收集并在集中位置存储。
- 使用代理或导出器从不同组件收集数据。
- 存储与聚合
- 将收集的数据聚合并存储，以便于分析。
- 使用数据库或数据湖存储日志、指标和跟踪数据。
- 实施数据聚合工具以结合来自不同源的数据。
- 确保数据安全存储，并易于检索。
- 质量与安全性指标
- 使用统计和机器学习技术识别数据偏差。
- 计算质量指标（连贯性、流畅性、相关性、相似性和幻觉），评估生成内容的整体质量和连贯性。
- 生成风险和安全性指标（脱逃缺陷率、有害代码率和仇恨言论缺陷率），识别潜在的内容和安全风险。
- 可视化
- 创建仪表板和报告，使收集的数据易于理解。
- 使用可视化工具（如Grafana或Kibana）创建仪表板。
- 显示关键指标、日志和跟踪数据的直观格式。
- 设置实时监控仪表板以实现持续可见性。
- 监控与警报
- 持续监控生成式AI系统的健康状况和性能，针对异常或问题发出警报。
- 设置监控工具以持续跟踪指标和日志。
- 监控应用程序的性能、公平性和道德合规性。
- 定义警报规则以通知关键问题。
- 实施自动响应以应对某些类型的警报。
- 反馈循环
- 委托定期审查监控数据和事故报告。
- 使用反馈持续改进应用程序和观测过程。
- 关注最新观测进展并遵循最佳实践。
5. Hexaware案例：RAG基生成式AI应用的责任AI框架
- 我们利用一个责任AI观测框架，提高了基于RAG的生成式AI应用（如内容创作、摘要、问答等）的可靠性。
- 平台作为责任AI网关，允许客户监控和管理与大型语言模型（LLM）端点之间的交互。
- 观测框架确保了应用之间的安全高效通信，并记录事件和资源使用情况，从而实现了实时监控和故障排除。
通过上述框架，Hexaware展示了如何构建一个全面的责任AI观测框架，以确保生成式AI应用的安全、透明和公平。
