Fluss 稳定性工程与最佳实践
核心能力: Fluss 是基于开源 Apache Fluss 构建的企业级实时分析 & AI 流式存储，具备毫秒级端到端时延、99.9% SLA 保证、86% 列式流存储资源优化、Flink + Fluss 端到端毫秒级延迟、阿里云全托管 DLF 深度绑定、Tiering Service 全托管及支持 Auto Scale 等核心能力。
稳定性冰山模型: 真正的稳定源自海平面下巨大而坚实的底座，包括跨 AZ 容灾、数据一致性、集群 Rebalance & 扩缩容、集群健康诊断、Tiering Service 自动扩缩容、磁盘禁写保护、KV 快照机制 & 秒级恢复、质量工程和 Agentic 运维等底座能力。
跨 AZ 容灾: 采用 3 AZ 对等架构，数据 3 副本同步复制，Coordinator 跨 AZ 高可用，保证任一 AZ 故障数据零丢失。
数据一致性: 写入承诺 ack=all + min.insync ≥ 2 落盘+ 多副本均确认才返回，保证不丢同步保序；通过副本掉队现象、Leader 切换现象、网络分区现象等防护机制，确保数据一致性。
集群 Rebalance & 扩缩容: 优先级链保证增量迁移、读写零抖动；支持弹性扩缩容，加入新节点或下线节点时，数据平滑迁移。
集群健康诊断: 每 5 分钟自动巡检，异常自动扣分 + 修复建议，包括资源水位、副本健康度、读写性能、Tiering Lag 等。
Tiering Service 自动扩缩容: 指标驱动，防震荡，按表权重动态调整资源，满足时效性需求。
磁盘禁写保护: 超过保护上限停写/磁盘容量降低自动恢复，KV Snapshot Lease 消费方持租约，云监控告警接入。
可用区不可用 & 基础设施逃逸: 可用区不可用、磁盘故障、ECS 故障等情况下，自动隔离与恢复。
KV 快照机制 + 秒级恢复: RocksDB 物理快照，增量上传，Changelog 重放，实现秒级恢复。
逐台可控升级: 基于 ClusterHealth API 的 Readiness Probe，确保集群健康才推进下一台，实现零感知升级。
质量工程: 将质量融入血液的工程体系，包括 Code Commit、Build、Deploy Staging、Auto Testing、Deploy Prod、门禁+ 定时、每次提交 UT 测试、协议不变量、IT 测试、模块+ RPC + mini-cluster、每天/ 发版 E2E 测试、全链路真集群验证、Daily Benchmark 性能基线、每日回归兼容性测试、新老 client/server 矩阵升级测试、Rolling restart 不抖、预发集群常驻、Chaos 测试、Kill / 丢包/ 磁盘满疲劳测试、7×24 连续运行验证等。
Agentic 主动运维（建设中）: 把『指标 → 告警 → 人查 → 人修』缩成『信号 → LLM 推理 → 工具调用 → 验证收敛』的闭环，实现主动运维。
未来展望: 夯实稳定性底座，迈向 Agentic 运维，未来稳定性优化方向包括替换 ZooKeeper 元数据服务、KV 稳定性深水区、JBOD Phase 2、Rebalance Goal 增强业务画像驱动均衡、存算分离架构演进等；Agentic 运维演进方向包括全面落地 Agentic 主动运维、上下游链路一张图、沉淀 Fluss 运维 Skill 到社区、深度集成阿里云 VVP Agent 等。
