AI创新的可观察性：采用趋势、需求和最佳实践

核心观点与关键数据

• AI 观测重要性提升：随着 AI 的应用，数据团队正加强数据、管道和模型观测计划，以强化数据治理。超过三分之二的公司已正式化、实施或优化了这些领域的观测计划。
• 观测范围扩展：虽然结构化表格仍是主要关注点，但非结构化数据（如文本、图像、视频）的观测也日益重要。近三分之一的受访者表示在生产环境中观测这些数据类型。
• 治理优先事项：公司优先考虑隐私、可审计性、合规性、模型准确性和透明度，以促进负责任的 AI。
• 挑战与障碍：技能差距、流程自动化不足、协作缺乏和组织混乱是观测的主要障碍。技能差距与其他 BARC 关于数据管理、数据素养和 AI 采用的调查结果一致。
• 区域差异：北美公司在 AI 采用和观测成熟度方面领先于欧洲，更注重隐私、合规性、模型准确性和正式观测指标。

研究结论与建议

• GenAI 的影响：GenAI 用户和测试者的观测计划比规划者更成熟。GenAI 引入了新的要求，包括非结构化数据、向量数据库和元数据管理的观测与治理。
• 团队协作：业务流程所有者在高阶观测中发挥重要作用，但跨职能团队协作仍需加强，目前多为临时性协作。
• 工具使用：公司更倾向于使用现有的数据解决方案（如数据仓库、湖仓和 BI 工具）而非专门的观测工具，尽管这可能导致观测能力不足。
• 建议：
  • 正式化并优化观测计划。
  • 加强治理政策和合规性。
  • 建立正式的跨团队协作政策。
  • 设立正式的成功指标。
  • 加强非结构化数据的观测实践。
  • 提高对数据/模型漂移和偏差的检测与管理。
  • 现代化观测基础设施，考虑采用专用观测工具。
  • 加强技能和培训计划，弥补技能差距。