人工智能创新中的可观测性：应用趋势、需求与最佳实践

执行摘要

• AI创新的可观测性现状：超过三分之二的公司已经正式化、实施或优化了数据质量、数据管道和AI/ML模型的可观测性项目，表明对数据、管道和模型管理的严肃承诺。
• 治理优先事项：隐私、可信度、透明度/可审计性、监管合规性和模型准确性是主要的治理优先事项，特别是在负责任的AI方面。
• 非结构化数据的重要性：组织现在也观察和管理非结构化数据，例如文本，Gen-AI采用者和北美公司引领着潮流。
• 挑战：技能、协作和流程自动化方面的短缺阻碍了可观察性的全面采用。
• 信任度问题：只有59%的受访者信任他们的AI/ML模型输入和输出，这引发了关于业务成果的担忧。
• 地区差异：北美在人工智能应用和可观测性成熟度上处于领先地位，更注重法规合规性、模型准确性和一致的程序指标。欧洲则更依赖传统表格，对非结构化数据的兴趣较低。

调查结果

• 可观测性现状：数据质量和数据管道的可观测性方案最为普遍，AI/ML模型可观测性略低但优化程度更高。
• 可观测性用例：BI仪表板和报告仍然是主要用例，但预测性机器学习和实时分析等现代用例也占到了近三分之一的响应。
• 成功衡量指标：三分之二（68%）的受访者将其可观测性活动应用于定性和/或定量指标。
• 挑战：人员和流程是主要挑战，包括培训/技能差距、数据隐私问题、手动流程、组织混乱和缺乏跨职能协作。
• 非结构化数据：组织正在探索和评估半结构化数据和非结构化文档的用途，GenAI尤其驱动了这一需求。
• 可观测性工具：现有的数据解决方案（如数据仓库、数据湖和BI工具）远比专门的可观测性工具更受欢迎。
• 团队合作：几乎一半（46%）的数据管理和AI/ML团队以临时方式合作，只有18%以正式且一致的方式合作。
• 利益相关者：业务流程所有者在可观察性项目中发挥着重要作用，但数据科学家和数据工程师的作用也很大。

生成式人工智能的影响

• GenAI采用：约三分之二（32%）的公司积极使用GenAI，31%正在测试它，37%计划采用它。
• 新兴需求：非结构化数据可观察性和治理、向量数据库监控、非结构化数据元数据管理以及表格数据准确性提升成为新兴需求。
• 地区差异：北美在GenAI采用和可观测性实践方面比欧洲更成熟。

建议

• 规范可观测性项目：实施正式化的可观测性计划，涵盖数据质量、管道完整性和AI/ML模型透明度。
• 加强跨团队协作：建立结构化的协作政策，连接业务流程所有者、数据科学家、数据工程师和C级利益相关者。
• 强化治理政策：建立关于数据使用、模型性能和遵守人工智能法规的明确治理政策和可观测性标准。
• 建立正式的成功指标：通过实施正式的定性及定量指标来衡量可观测性成功。
• 加强技能和培训计划：缩小技能差距，通过培训计划提升数据团队的技术技能和商业利益相关者的数据素养。
• 现代化可观测性基础设施：考虑采用专门的可观测性工具，以提供先进功能、自动化和统一可见性。
• 扩展非结构化数据能力：开发稳健的观测实践，包括元数据管理、向量数据库监控和特定质量指标。
• 增强模型监控：提高团队在检测和管理数据/模型漂移和偏差方面的关注度，实施自动化监控系统。