张云尧 - 火山引擎云原生大数据在金融行业的实践

火山引擎云原生大数据在金融行业的实践

1. 金融行业大数据需求

• 云原生趋势：大数据架构向云原生演进是重要趋势，具备强制的容器化能力、便捷的运维能力和可定制化的网络/存储能力。
• 云原生需求：迁移使用云原生系统面临挑战，包括难以直接迁移、不支持特定作业形态、缺乏多租户资源管控能力及调度策略等。

2. 云原生大数据部署

• 部署方式：两种方式分别为Serverless YARN和Arcee Operator。
• Serverless YARN：保留YARN原有功能并新增远程调度服务，提供作业迁移工具和性能优化。
• Arcee Operator：统一管控多种计算引擎，具有两级管理、统一作业实例、作业异常处理及屏蔽底层调度器等功能。

3. 云原生大数据调度

• 调度管理：包含多层资源管理，如Reslake、GRO Scheduler和GRO Agent。
• GRO Scheduler：具有强大的Pod放置能力、高调度吞吐及丰富信息统计，支持多种调度策略。
• GRO Agent：增强单机隔离性，支持在线SLA保障机制及闲置资源利用。

4. 云原生大数据助力金融

• 解决方案：提供精细强大的作业管理及高效的资源管理，致力于提升资源利用率，节约成本。
• 主要技术：Serverless YARN、Arcee Operator、GRO、ResLake。

通过以上方案，火山引擎云原生大数据能够有效支持金融行业的大数据处理需求，实现资源高效利用和业务稳定性。