通用媒体传输协议标准及相关算法研究

通⽤媒体传输协议标准及相关算法研究 周超|快⼿⾳视频⾸席科学家、算法中⼼负责⼈ 成熟稳定 灵活性差、跨层优化难、业务不感知 延迟 流畅清晰 可靠性 延迟带宽利⽤率 传输控制 弱⽹对抗 ⾃适应 算法 拥塞算法 流量整形 FEC ARQ UEP JSCC ⽹络估计 队列管理 多径传输 延时抖动 可靠性 ⽆缝切⽹ 私有协议全⾯落地 主站StreamLake海外······ CMTP KTPLASAASKLP ServerAPI Jitter管理 统计上报 ⽂件合并&校验） 包序管理 业务感知层 FEC解码 ⽹络估计 ⽹络IO 带宽估计 延迟判定 ACK解码 丢包归因 传输控制层 合流(multihoming) NACK编码 Packet校验 ClientAPI 断点续传 业务感知层 跨业务流量⾃适应分配 （直播vs.PK/连⻨） 边缘加速 ⾃适应转码 软/硬转码、码率） ⾃适应流控 码率、帧率、分辨率） 统计上报 ⾃适应FEC 流量分配（多⼈） ⾮对称差错保护 Multihoming ICE&P2P 传输控制层 ARQ ⽹络IO 拥塞控制 BBR、RLCC、KFR... BBR、CUBIC、 IA2C、DeepCC… GCC、NADA、 DeepCC、QARC… 流量整形 APP#3 APP#2 APP#1 APP#3 APP#2 APP#1 KTP(KwaishouTransportProtocol) UDP ⽂件传输 直播 RTC ⽂件传输 直播 RTC 60% 丢包率 15% 丢包率 KTPRTMP 99.3%+ 发布成功率 -28% ⽤户耗时率 丢包率-带宽利⽤率 编码发布 ⽹络传输 PIPELINE+流式 ⾃研KTP协议 带宽利 内容感知的 ⾃适应发布 策略 ⽹络感知的 ⾃适应发布 策略 接⼊/媒资存储 基于强化学习的拥塞控制算法 KTP QUIC SRT ⽤率 02%5%10%30% 丢包率 60% 丢包扛性 突发损伤抗性抖动抗性 KTP-RTC 竞品1 竞品2 延时限速适应性 竞品3 流畅度复合损伤抗性 KTP KTP 作品发布 直播 KTP PK、连⻨视频会议 ？ KLP ClientAPI ServerAPI APP#3 APP#2 APP#1 APP#3 APP#2 APP#1 KLP(KuaishouLiveProtocol) 接⼝层 算法策略层 连接复⽤ 客户端ABR 预建联 智能倍速 动态启播 协议优选 动态缓存 带宽预测 ······ 智能丢帧 服务端ABR 智能缓存 弱⽹对抗 智能回源 负载均衡 ······ 协议选择层 KTP协议 TCP协议 ······ KTP/TCP KTP协议 TCP协议 ······ KLP特性，落地情况，收益 总拉流数显著上涨5.491% 开播失败率显著下降80.935% 总拉流时⻓显著上涨6.695% 对⽐是否开启KLP 百秒卡顿次数显著下降72.564% ⼈均拉流时⻓显著上涨5.601% 百秒卡顿时⻓显著下降76.177% ⾃适应多码率(ABR） 540P 720P 1080P 快⼿直播ABR—LAS(LiveAdaptiveStreaming) 快⼿直播ABR—LAS LAS HLS 测试报告 延迟低清晰&流畅延迟⼤模糊&卡顿 ⾃研协议在快⼿的落地 KTP 业务耦合、⽣态封闭、覆盖不全 KTP 作品发布 直播 KTP PK、连⻨视频会议 KLP（直播） LAS CMTP(CommonMediaTransportProtocol) CMTP架构 通⽤接⼝层 ServerAPI ClientAPI Live VoD RTC Signaling QualityAdaptation ProgressiveDownload Cache Signaling QualityAdaptation 应⽤感知层 BufferManagement ABR BreakpointResume ABR JitterBuffer RateAllocation AVSync ······ Preload ······ AVSync ······ StreamingSession FMP4Muxer/Demuxer FLVMuxer/Demuxer TSMuxer/Demuxer ······ TransportSession MediaFrame MediaSignal 传输表示层 VideoFlow AudioFlow DataFlow ProtocolSelection Packing/Unpacking ARQ CongestionControl 0-RTT Packing/Unpacking TLS1.3 传输控制层 SessionMangement FEC Pacing TLS1.3 FlowMultiplexing ······ FlowMultiplexing ACK/NACK Encryption ······ UDP/TCP层 UDP TCP 通⽤接⼝层ServerAPIClientAPI LiveVoDRTC SignalingQualityAdaptationProgressiveDownloadCacheSignalingQualityAdaptation 应⽤感知层BufferManagementABRBreakpointResumeABRJitterBufferRateAllocationAVSync······Preload······AVSync······ StreamingSessionFMP4Muxer/DemuxerFLVMuxer/DemuxerTSMuxer/Demuxer······ TransportSessionMediaFrameMediaSignal 传输表示层VideoFlowAudioFlowDataFlowProtocolSelection Packing/UnpackingARQCongestionControl0-RTT Packing/UnpackingTLS1.3 传输控制层SessionMangementFECPacingTLS1.3 FlowMultiplexing······ FlowMultiplexingACK/NACKEncryption······ UDP：⾼灵活性、易扩展 TCP：稳定可靠、联通性⾼ CMTP UDP/TCP层 UDP TCP 通⽤接⼝层ServerAPIClientAPI LiveVoDRTC SignalingQualityAdaptationProgressiveDownloadCacheSignalingQualityAdaptation 应⽤感知层BufferManagementABRBreakpointResumeABRJitterBufferRateAllocationAVSync······Preload······AVSync······ StreamingSessionFMP4Muxer/DemuxerFLVMuxer/DemuxerTSMuxer/Demuxer······ TransportSessionMediaFrameMediaSignal 传输表示层VideoFlowAudioFlowDataFlowProtocolSelection UDP/TCP层UDPTCP ⾼性能：FEC、ARQ、拥塞控制 核⼼特性：⽀持加密、0-RTT、多路复⽤、包级可靠性控制、⾯向消息 协议定义：信息丰富、功能完善、开销⼩ CMTP Packing/Unpacking ARQ CongestionControl 0-RTT Packing/Unpacking TLS1.3 传输控制层 SessionMangement FEC Pacing TLS1.3 FlowMultiplexing ······ FlowMultiplexing ACK/NACK Encryption ······ 通⽤接⼝层ServerAPIClientAPI LiveVoDRTC SignalingQualityAdaptationProgressiveDownloadCacheSignalingQualityAdaptation 应⽤感知层BufferManagementABRBreakpointResumeABRJitterBufferRateAllocationAVSync······Preload······AVSync······ StreamingSessionFMP4Muxer/DemuxerFLVMuxer/DemuxerTSMuxer/Demuxer······ Packing/UnpackingARQCongestionControl0-RTT Packing/UnpackingTLS1.3 传输控制层SessionMangementFECPacingTLS1.3 FlowMultiplexing······ FlowMultiplexingACK/NACKEncryption······ UDP/TCP层UDPTCP CMTP 接⼝统⼀、上下承接 媒体信令、格式统⼀ 协议优选、灵活⾼效 TransportSession MediaFrame MediaSignal 传输表示层 VideoFlow AudioFlow DataFlow ProtocolSelection 通⽤接⼝层ServerAPIClientAPI 传输表示层VideoFlowAudioFlowDataFlowProtocolSelection Packing/UnpackingARQCongestionControl0-RTT Packing/UnpackingTLS1.3 传输控制层SessionMangementFECPacingTLS1.3 FlowMultiplexing······ FlowMultiplexingACK/NACKEncryption······ UDP/TCP层UDPTCP 应⽤感知层 StreamingSession FMP4Muxer/Demuxer FLVMuxer/Demuxer TSMuxer/Demuxer ······ 业务全覆盖 应⽤感知：跨层联合优化 组件可插拔：功能丰富、扩展性强 CMTP Live VoD RTC Signaling QualityAdaptation ProgressiveDownload Cache Signaling QualityAdaptation BufferManagement ABR BreakpointResume ABR JitterBuffer RateAllocation AVSync ······ Preload ······ AVSync ······ TransportSession MediaFrame MediaSignal LiveVoDRTC SignalingQualityAdaptationProgressiveDownloadCacheSignalingQualityAdaptation 应⽤感知层BufferManagementABRBreakpointResumeABRJitterBufferRateAllocationAVSync······Preload······AVSync······ StreamingSessionFMP4Muxer/DemuxerFLVMuxer/DemuxerTSMuxer/Demuxer······ 传输表示层VideoFlowAudioFlo