LiveVideoStack：2024音视频技术发展报告

2024音视频技术发展报告 着眼现在、探究未来、创造新价值 www.livevideostack.com 2024音视频技术发展报告 出品人:LiveVideoStack责任编辑:包研 执行编辑:张余 编委:李志成高芃刘旻赵琪薛笛刘然 王军王雅光龙一民段欣巩卓雨 特邀专家:刘歧快手音视频首席架构师刘东中国科学技术大学特任教授赵军腾讯云视频云专家工程师张睿霄香港大学博士后 周思进音视频行业老兵 王毅敏前阿里资深技术专家 美术设计:程楠 以上排名不分先后，感谢各位专家对调研报告的指导与支持！ 序言 2017年LiveVideoStack成立后不久，就有不少同学想让我们推荐合适的候选人，这样的询问频率也随着行业的起伏而波动。与此对应的是，很多企业也希望快速了解多媒体行业生态的现状，以优化产品与市场策略，其实分析报告很符合LiveVideoStack自身中立媒体社区的特性。但种种原因导致分析报告被一拖再拖，直到2023年。 2023年是多媒体行业进一步调整的一年，降本、出海、AI几乎成为行业最热点。在这样的背景下，如果能这个时间点让大家凝聚 音视频行业经过过去10年的蓬勃发展，技术人员正面临前所未有的挑战与机遇。一方面传统音视频技术枝繁叶茂，迭代更新速度加快；另一方面，AI已全面渗透到多媒体从内容生产到消费体验各个方面，正在成为新的必备技能。LiveVideoStack的这一份高质量的调研报告，及时准确地获得从业人员的技术洞见和态度，勾画出音视频技术发展的热力分布图，非常有价值！ 更多共识，促进协作，为未来的发展指引方向，至少提供一些客观真实的声音。于是，是时候决心推出多媒体生态的报告了。 希望大家享受这份报告，由于是第一次设计报告，难免瑕疵，欢迎反馈建议。最后，感谢这个时代，让LiveVideoStack有机会为大家呈现这份报告。 随着互联网基础设施的完善，出现了各种各样的流媒体和实时互动新玩法，流媒体、WebRTC的应用也越来越广泛，有AI加持，开发人员的队伍也越来越壮大。为了深入了解流媒体和RTC的从业情况，把握音视频新技术的发展方向，LiveVideoStack做了这次匿名调查，从各个方面和维度获取了各种技术的使用情况，做出了《2024音视频技术发展报告》，内容详实、 真实，对音视频从业者是一个很好的参考。 —宋利上海交通大学教授、图像通信与网络工程研究所副所长⸻杜金房烟台小樱桃网络科技有限公司CTO 02 目录02 第中二国章音视频行业发展概述 1.音视频技术基础概念 2.音视频技术渗透领域 07 08 01 第报一告章概述 3.宏观政策分析 03 第三章 09 1.研究背景 05 中国音视频行业核心技术分析 2.研究方法 2.1桌面研究 06 06 1.音视频技术人员现状 1.1技术人员基本画像 12 12 2.2问卷调查 06 1.2公司规模、职位、领域、行业、部门分布情况14 2.3专家访谈06 1.3就业与招聘现状16 2.4研究数据来源 06 2.音视频技术使用情况18 2.2编解码技术18 2.超低延迟与关键技术 43 2.2开发环境使用情况27 3.虚拟现实现状 4.AIGC发展趋势 45 46 5.出海机遇49 046.当下与未来51 第中四国章音视频行业典型企业分析 附录52 1.产业链分析34 2.产业链头部企业图示35 3.音视频技术头部企业代表分析36 05 第中五国章音视频行业的“危”与“机” 1.行业困局和创新趋势40 第一章 报告概述 05 1.研究背景 2.1桌面研究 第一章报告概述 近年来，从短视频异军突起，媒体传播格局的转变，再到5G、虚拟现实、元宇宙等技术不断创新迭代，描绘了想象的虚拟世界，视听领域不断迈向多元化、高端化、智能化，成为数字经济的重要引擎。 国内正处于加速向数字化转型的阶段，而且随着人工智能、5G等新技术的兴起，给音视频行业带来新的发展机遇。在发展的窗口期，我们更应该掌握发展态势，抓住发展机遇，迎接新一轮的科技发展新高度。 当我们站在十字路口时，要认清周围形势，才能采取进一步的动作。因此，LiveVideoStack作为全国唯一一家专注音视频领域的技术交流社区，为了给音视频技术人员带来更加清晰的领域认知，促使技术带动相关产业的进一步发展，我们将从音视频行业发展现状、音视频核心技术使用情况、音视频典型企业案例分析、音视频的“危”与“机“等方面出具一份业内的调研报告，供大家更清晰了解音视频整个领域目前的一些情况。 2.研究方法 整体报告形成将通过桌面研究、问卷调查、专家访谈、数据分析等方法收集与展现。同时还会邀请业内专业人士对最终呈现结果的技术及相关表述，给出专业评判及修改意见，终而形成最后的完成报告。 对行业内公开的音视频信息进行桌面研究，资料包括但不限于专业机构的研究报告、技术领域书籍、技术社区网站、新闻网站、技术企业官网及专家公开演讲内容等。 2.2问卷调查 采用线上问卷的形式，对部分问题进行问卷调查。包括音视频技术人员的基本情况、音视频技术的使用情况、音视频的发展现状和趋势等。 2.3专家访谈 共邀请了42位音视频各领域的技术负责人、专家学者等，进行音视频领域的技术发展现状、企业发展形势以及未来趋势进行访谈，并对模型生成结果进行讨论和指导。 2.4研究数据来源 本次调研发放1607份问卷，共收回312份，去除无效数据3份，整理有效问卷共309份。许多问题是多项选择题，这些多项选择题的百分比总和不会达到100%。 本次调研访谈42位音视频各领域专家，领域包括泛娱乐、在线教育、IoT、供应商、创业者等等。将专家观点合并整理，并采用匿名方式将个别观点融入报告。 本次研究通过收集并整理国家政策信息，形成音视频宏观政策分析。 06 第二章 中国音视频行业 发展概述 07 1.音视频技术基础概念 音视频技术包括音频技术和视频技术。当我们从设备端采集原始音频或视频时，一般情况下数据量大，如不进行技术处理，就无法传输。因此，需要音视频技术对其进行处理。除此之外，音视频的流畅性、清晰度等也需要音视频技术的支持。 随着5G、芯片、内存等技术的发展，RTC的应用也愈发多样化，整个市场处于快速发展期。RTC技术在延时控制、弱网对抗、跨国传输、机型适配、音视频编码、算法等方面都要持续精进，音频和视频技术日新月异。有专家指出，音视频现阶段技术将呈现三方面的发展： 一是体验向沉浸式发展 从2020年腾讯提出“全真互联网”概念后，直到现在大家仍然热衷于探索人与数字世界的交互体验。随着AR/VR技术的突破，我们更热衷于追求沉浸式新世界的美好。 二是技术向AI方向发展 去年年底，ChatGPT的出现掀起人工智能的浪潮，针对于AI项目的投资不断增加，又一波技术爆发即将来临。 三是技术能力需要更精细化打磨 2.音视频技术渗透领域 当前，我国音视频行业正处于场景深化阶段的发展中，音视频技术产业互联网场景加速渗透。从2015年还不到1%，到2022年音视频行业应用场景达到83.2%，整个市场已经过了快速发展期，早期入局的公司具有明显的先发优势，行业新进入者机会收窄。 音视频技术的应用场景越来越多样化，并向垂直行业延伸发展。各企业在基本技术打磨的同时，也在探索新行业场景，积极寻求新增长点，例如与AI结合，以及相关前沿技术的突破，AIGC的应用、大模型相关技术的研发，都希望能占领新技术的制高点。 音视频 行业应用 场景渗透率 83.2% 到2022年音视频行业应用场景达到83.2%，整个市场已经过了快速发展期，早期入局的公司具有明显的先发优势，行业新进入者机会收窄。 泛娱乐 现在由于外部环境的影响，业务的快速发展，资源消耗和成本压力显著增加。各公司都希望借助音视频技术来降低成本，进而达到效率提升的目的。 游戏类场景社交类场景电商类场景体育 互动游戏、游戏直播、AR/VR游戏在线K歌、视频群聊、语音电台直播带货、云购物 赛事直播、体育远程加油 金融 教育 通用教育教育硬件兴趣学习 医疗 银行保险券商 医疗诊治 IoT 医疗教学直播医疗护理 智能穿戴智能出行 课堂教学、小班授课、互动授课、在线自习室智能家教台灯、智能手写笔、学习平板 在线兴趣课、陪练课程 银行理财直播、虚拟营业厅、远程理财远程理赔、远程客服、保险直播 远程开户、券商直播、证券视频课程 远程问诊/会诊、电子处方、医疗硬件医疗培训、在线学术会议、远程超声远程心理咨询、远程看护、医疗机器人 《数字中国建设整体布局规划》 中共中央国院务 2023年2月27日 加基快础数建字设、中算国力建基设础，建包设括和网应络 用基础建设。 支持类 《动工互业联和网信应息用化程部序关备于案开工展作移的 监管类 通知》 工业和信息化部 从办手事者，互，未应联当网依信照息规服定务履的行AP备P案主 2023年7月21日 从事续APP履互行联备网案信手息续服的务，。不得 智能手表、AR/VR/MR头戴一体机行车记录仪、智能后视镜 3.宏观政策分析 3.1互联网相关政策 近年来政府出台了一系列政策为我国音视频产业的健康发展提供了有力的支持和保障，促进了技术创新、内容创新和商业模式创新，推动了产业的高质量发展。同时，随着流媒体技术、行业的成熟，国家推行音视频政策的趋势逐渐向监管方向倾斜，尤其是加强个人信息保护力度方面。以下是近年来，各单位发布的相关政策。 机器人 智慧城市 无人车、无人机、工业机器人、服务机器人 智慧矿区智慧物流智慧文旅 无人远程控车 《工业和信息化部关于进一步提 升移动互联网应用服务能力的 通知》 工业和信息化部 2023年2月6日 提升全流程服务感知，保护用 户合法权益。提升全链条管理 能力，营造健康服务生态。 监管类 监管类 《个人信息保护认证实施规则》 市场监管总局网信办 2022年11月4日 实施个人信息保护认证，鼓励 个人信息处理者通过认证方式 提升个人信息保护能力。 《工业和信息化部国家互联网信息 监管类 办公室关于进一步规范移动智能 终端应用软件预置行为的通告》 工业和信息化部网信办 2022年11月30日 规范移动智能终端应用软件预 置行为，保护用户权益，构建更 加安全、更有活力的产业生态。 无人仓储、无人配送服务数字展馆、云拍卖、文旅直播 企业办公 视频会议、远程招聘、协同办公 数字政府 数字办公政务协同办公、一网通办、在线政法服务 3.2人工智能相关政策 《生成式人工智能服务管理暂行 办法》 国家网信办等七部门 2023年7月10日 针对生成式人工智能技术特点 及其在有关行业和领域的服务 应用，完善与创新发展相适应的 科学监管方式，制定相应的分类 分级监管规则或者指引。 监管类 2022年底，以ChatGPT为代表的出现掀起了又一波人工智能发展热潮。ChatGPT的出现，优化了语音识别和生成技术，促进了多模态交互技术的发展，加速了人工智能在音视频领域的应用。人工智能行业受到国家产业政策的重点支持。截至2023年9月份，我国中央及各地政府已相继发布多部人工智能相关政策，而且对产业链中应用层的关注明显多于基础层和软件算法层。同时，人工智能技术的快速发展，也带来了传播虚假信息、侵害个人信息权益、数据安全等问题。政府出台政策在鼓励发展的同时也对这些问题进行监督和管理。这些政策为我国人工智能产业发展提供了长期保障，也让我们看到以人工智能高水平应用促进经济高质量发展的新动力。以下是近年来，各单位发布的相关政策。 《关于加快场景创新以人工智能 高水平应用促进经济高质量发展 的指导意见》 科技部等六部门 2022年7月29日 加强对人工智能场景创新工作 的统筹指导。 支持应用类 支持应用类 《新型数据中心发展三年行动计划（2021-2023年）》 《关于支持建设新一代人工智能 示范应用场景的通知》 科技部 2022年8月12日 充分发挥人工智能赋