面向智算服务构建下一代可观测Pipeline

2024-11-22 徐可甲全球软件开发大会王月

深度学习特点：端到端流水线（Raw data in, executable model out）、持续迭代优化（梯度下降、超参数调优、Prompt工程）、任务长时运行（小时/天/周/月）、海量数据和算力消耗。
大模型挑战：异构硬件需求、动态分布式计算、资源调度与弹性伸缩、资源隔离性。
云原生架构支撑：
- 利用Kubernetes管理调度GPU/NPU/RDMA等异构资源。
- 容器化开发运行AI/大数据任务，部署AI推理服务。
- 传统架构向云原生演进趋势：到2025年接近50%企业数据密集型负载迁移至云原生架构。
云原生AI优势：利用弹性资源、异构算力及容器、自动化、微服务等技术，提升AI/ML工程效率，降低成本，提高可扩展性，实现端到端解决方案。
统一资源管理：
- GPU共享（单卡共享：模型推理；多卡共享：分布式训练）。
- 任务打包优化资源利用率，解决多租集群固定资源分配导致的浪费问题。
- All-or-Nothing任务调度策略（任务组内所有任务需同时调度）。

LoongCollector定位：
- 可观测性统一Agent。
- 端到端可观测Pipeline。
设计特点：
- 性能与可靠性：轻量高效稳定架构，高吞吐量，低CPU内存开销。
- 通用反馈队列机制：高低水位反压控制，At-Least-Once语义保证。
- Pipeline多租隔离：数据流隔离，优先级保证。
- 可持久化缓冲：容忍短时环境异常数据不丢。
- 开放管控协议：标准化可互操作框架，支持商业版、开源版、托管版管控及自定义实现。
行业对比：iLogtail在采集速率上优势明显。

智算服务可观测方案：
- DaemonSet模式：K8s每Node部署日志Agent，采集容器标准输出、文件日志或宿主机文件。
- Sidecar模式：POD内运行Sidecar日志Agent，仅采集业务容器文件日志。
Logging-Audit功能：
- 自动补充分布式训练容器上下文。
- 分布式训练多行日志高性能切分。
- 日志上下文顺序查看。
- 通过字节流解析应用层协议，屏蔽编程语言和框架差异，降低开发复杂度。
性能表现：
- 极简模式：440M/s。
- 多行切分模式：400M/s。
- 正则/JSON：75M/s。
优化策略：
- 增加资源、并行处理、并行发送。
- 保证带宽（VIP/SLB）、减小链路长度。
监控功能：
- LoongCollector整体状态。
- LoongCollector异常监控。
- LoongCollector Pipeline监控：耗时、数据量、插件级统计。