游望秋-火山引擎veRTC场景下高可用云边通信实践

veRTC云边协同架构分析

veRTC业务场景

• 业务类型：实时音视频（视频会议、直播连麦、云游戏）、物联网、互动课堂、全球实时音视频云
• 特点：全球实时互动、边缘全球下沉就近接入、全球实时流媒体/信令传输网、边缘计算云边协同

veRTC云边协同的特点与挑战

特点

• 可靠性：高要求，信令依赖中心，边缘失联影响用户体验（通话失败、卡顿黑屏、媒体网络避障异常）
• 实时性：高要求，消息延迟上升100ms导致3s/5s进房成功率下降3%，首帧延迟上升600ms
• 成本：带宽消耗小，仅传输控制信令，每100w PCU带宽2Gbps

挑战

• 基建：边缘节点分布广故障率高（无专线、公网可靠性低）、云机房故障不可避免
• 延迟/容灾/容量：多云机房下边缘连接方案（公网VPN隧道OpenYurt/Raven）存在链路单一、延迟高、流量调度问题

veRTC云边通信架构演进

v1：长连接自行实现

• 问题：服务单独运维配置、冗余开发、高可用能力缺失

v2：中心化网关版本

• 架构：边缘集成SDK接入，云端云网关服务管理长连接及数据转发
• 传输通道：MultiPath Transport（多链路长连接实现高可用）
  • 高可用保障：
    • 异构链路（10+类型）：故障时链路切换，日常选择延迟最低链路
    • 多径冗余：单链路故障无损，多链路故障秒级恢复
    • 协议支持：类似TCP的ACK重传、保序、自动重传
  • 高效去重方案：
    • v1：Redis实现（增加延迟、强依赖）
    • v2：TLB一致性Hash（扩容升级时出现重复）
    • v3：Converge Routing（短链分配地址+长链指定实例+内存去重）
  • 长连接保活优化：
    • 短链探测分离
    • 链路分级按需保活（降低80%开销）
    • 活跃/非活跃链路实时转化

v3：去中心化网格架构

• 控制转发分离：
  • 控制面：分配服务实例、长连接管理、边缘流量调度
  • 数据面：链路质量探测、长连接保活、云边数据传输
  • 优势：业务资源隔离、无状态服务实现平滑升级、去除单点强依赖、减少调用开销
• 云端故障容错：
  • 单实例故障：控制面自动切换，数据面秒级切换至新实例/机房
  • 机房大规模故障：控制面下发多机房切流操作
  • 异地多活流量调度：综合延迟+容量信息（容量不对等情况优先考虑延迟）

核心数据与结论

• 稳定性数据（2023年）：避障次数月均减少，故障时延减少75%，年事故0次，MTTR<5s
• 结论：veRTC通过多链路冗余、协议优化、去中心化架构实现高可靠、低延迟的云边协同通信，有效解决公网环境下的容灾、扩容挑战