数据工程趋势报告：2025年数据工程调查结果分析

核心观点

全球企业正在提升数据能力和分析成熟度，重点在于如何有效地、战略性地利用新技术。数据工程领域正朝着整合和优化的方向发展，企业正在严格审查成本、监控性能并更深入地利用编排工具。数据栈的不断成熟意味着团队、工具和流程的定期转变。

关键数据

• 数据存储和云服务：86%的受访者表示其组织使用云数据存储，近一半的受访者表示其组织主要在云端存储数据和数据库解决方案。大型组织比其他组织更可能将数据库迁移到云端以降低成本、实现现代化并支持云原生转型。
• 数据安全策略和关注点：绝大多数受访者（91%）表示他们使用至少一种策略/架构考虑因素来确保数据安全。最常见的策略包括访问控制、加密和合规性。开发者最担心数据泄露、身份验证失败和不安全的数据处理。
• 数据可观察性和蔓延管理：约三分之二（66%）的受访者表示其组织使用数据可观察性工具。最常见的策略是使用集中式数据仓库或湖屋来管理数据冗余、碎片化或蔓延。
• ETL工作负载和规划：四分之三（75%）的受访者表示他们至少花费10%的工作时间在数据提取、加载和/或转换（ELT、ETL）上。大型和小型组织报告的平均时间高于中型组织。最常见的ETL方法包括手动数据库导入/导出、自定义中间件和通用集成工具。
• 管道架构和集成：绝大多数受访者（91%）表示他们至少使用了一种数据流集成/编排方法。最常用的方法是“通过REST API或GraphQL消费/生产数据”。87%的受访者表示他们已经在数据管道或工作流程中实施了至少一种DataOps实践。
• 为AI/ML准备和维护数据：53%的受访者表示他们对为AI/ML系统准备高质量数据的最佳实践至少“有点自信”。最常见的策略包括使用API或连接器提供实时数据、构建内部知识库或上下文存储以及使用向量数据库进行RAG。

研究结论

• 企业正在转向云数据存储，并更深入地利用编排工具来优化成本和性能。
• 数据仓库和湖屋仍然广泛使用，但大型组织更可能采用所有三种存储模型。
• 大多数开发人员投入大量时间进行ETL流程，但中型组织花费的时间较少。
• 数据流集成和编排实践在大多数组织中已得到很好的建立，REST API和GraphQL是连接系统最常用的方法。
• DataOps实践同样普遍，其中CI/CD对于数据管道是最普遍的实践。
• 准备和维护数据以支持AI/ML应用需要更专业的技能和更正式的流程。