“云智一体”技术与应用解析白皮书——全场景智能视频篇

目录CONTENS 一、云智一体，促进数字化转型与智能化升级一步到位02 1.1产业智能化，数字经济发展新阶段03 1.2百度智能云战略升级03 1.3云智一体的百度智能云架构2.0，加速产业智能化04 二、云智技术大发展让视频应用与体验跃入新阶段06 三、云智一体的全场景视频技术解析09 3.15G+AI驱动下的视频行业发展趋势10 3.1.1消费类视频的云智一体化诉求10 3.1.2产业类视频的云智一体化诉求11 3.2智能视频云3.0全景图12 3.2.1智能视频3.0的特点14 3.2.2智能视频3.0背后的端边云一体化基础架构14 3.2.3基于云智一体的双平台15 3.3智能视频云3.0中的“云”能力17 3.3.1视频分发基础设施CDN17 3.3.2智能编码18 3.3.3智感超清19 3.3.4实时音视频通讯21 3.3.5低延时直播23 3.3.6智能视频SDK矩阵24 3.4智能视频3.0的“智”能力25 3.4.1智能理解分析25 3.4.2智能视频生产27 3.4.3视频交互生成27 四、智能视频云3.0的三大行业应用场景31 4.1云智一体的视频技术推动泛媒体产业升级32 4.1.1泛媒体产业格局：应对新挑战、把握新动能32 4.1.2泛媒体产业演进的三条增长曲线33 4.1.3智能媒体解决方案全景图34 4.1.4泛媒体客户案例解析36 4.2云智一体的视频技术推动泛互联网产业升级39 4.2.1智能小视频解决方案：快速上线视频业务39 4.2.2全链路编解码优化方案：降低成本、提升画质41 4.2.3新零售直播SaaS解决方案：助力商家裂变获客、流量变现42 4.2.4在线社交解决方案43 4.2.5泛互联网客户案例解析44 4.3云智一体的视频技术推动泛产业的视频场景升级45 4.3.1产业类视频与消费类视频的区别45 4.3.2视联网发展的三大阶段46 4.3.3百度智能云视联网感知平台47 4.3.4视联网感知平台架构的三大特点48 4.3.5产业类客户案例解析52 五、更多行业案例参考54 六、关于本报告55 云智一体， 促进数字化转型与智能化升级一步到位>> 1.1产业智能化，数字经济发展新阶段 当前，我们正处在科技创新和产业发展最好的时代，以人工智能、大数据、云计算、5G等为代表的新一代信息技术蓬勃发展，驱动新一轮科技革命和产业变革。 在产业应用新兴技术和数据资源转型升级的过程中，数字化是基础；而随着人工智能等新一代信息技术的发展，以及数据的爆发式增长，产业加快应用智能技术，从海量数据中发现规律、训练模型、提炼知识，促进产出增加和效率提升，实现企业生产经营的智能化，进而实现整个产业的智能化升级。 因此，数字经济既包括数字化转型，也包括智能化升级，产业智能化是数字经济发展的新阶段。 1.2百度智能云战略升级 百度是拥有强大互联网基础的领先AI公司。从成立的第一天起，百度搜索引擎就与人工智能、云计算等技术息息相关。经过多年的技术积累和产业实践，百度已形成了全面布局，从基础的算力和数据技术、深度学习算法及框架，到语音、视觉、自然语言处理等感知、认知技术，以及飞桨深度学习开源开放平台等，具备云智一体的独特优势。 基于百度的技术优势和对产业发展的洞察，经过跟合作伙伴的共同成长与产业实践，百度智能云的战略升级为：以“云计算为基础”支撑企业数字化转型，以“人工智能为引擎”加速产业智能化升级，云智一体“赋能千行百业”，促进经济高质量发展。 03 “云智一体”技术与应用解析系列白皮书智能视频篇 云智一体的“云”为数字化转型提供安全、稳定、灵活的数字化底座，“智能化引擎”为智能化升级提供领先的创新技术和平台。我们推荐客户数字化转型与智能化升级一起做，一步到位，这样效率更高，效果更好。 同时，如果客户只做数字化转型，我们有丰富的云计算产品可以支持；或者客户已经有了数字化基础，我们的智能化引擎也可以助力智能化应用。 百度智能云的“云”，不仅为数字化转型提供安全稳定、弹性灵活的云计算服务，同时也是适合跑AI的云，我们称之为“AI原生云”，继承云原生的优势，面向AI场景，提供极致弹性的高性能异构算力，打造简洁、高效的AI应用开发架构。 “云智一体”的智，是百度将深耕十余年的AI技术，以及AI赋能产业的实践经验，沉淀为助力产业智能化升级的技术、平台及方法论，是以加速产业智能化升级为己任、懂场景的AI。 1.3云智一体的百度智能云架构2.0，加速产业智能化 基于百度智能云的战略升级，云智一体的百度智能云架构2.0同时发布，包含数字化底座、智能化 引擎和全场景应用（如图1.3-1所示）。 数字化底座，包括基础云、数据库、物联网、边缘计算、区块链等基础平台，以及视频云、大数据、云原生开发和地图服务等；同时还有安全模块，为技术创新和产业转型升级保驾护航。 在数字化底座之上是智能化引擎，百度自主研发的飞桨深度学习平台为核心，软硬一体AI大生产平台--百度大脑为支撑，包括AI中台和知识中台等。智能化引擎与行业深度融合，帮助企业建设自己的智能化中台，助力智能化升级。 04 基于数字化底座和智能化引擎，百度智能云深入行业场景，打造智能应用，同时与生态伙伴一起，在制造、能源、城市、金融、医疗、媒体等领域，助力数字化转型和智能化升级一步到位。 （图1.3-1百度智能云全新架构2.0） 我们希望以百度智能云为纽带，联合技术和产业生态伙伴，通过开源开放平台降低AI开发的门槛，加快人工智能融入传统产业，帮助越来越多的行业大步快跑，加入产业智能化的大潮。 05 云智技术大发展 让视频应用与体验跃入新阶段>> 视频作为人类最直接、最容易感知世界的一种方式，已广泛应用在日常生活和工作中。从整个视频发展史来看，过去的很长一段时间，最喜闻乐见的视频应用场景，主要集中在传媒业、娱乐业等大众消费领域。 而在最近的10年内，随着长视频、短视频、直播等行业应用的高速发展，加速了互联网内容的视频化趋势。人们在互联网上获取信息和娱乐的方式也开始更多的基于视频资源，但这些应用还是更多集中在消费互联网领域，属于一种视频化业务。 但在最近两三年，视频应用领域进一步扩大，进入到越来越多的行业日常业务中，更多业务正在视频化。例如在智慧城市领域，基于视频数据进行的污染治理、消防预警等；在电力领域，基于视频信息进行的线路自动巡检、风险预判；在交通领域，基于视频信息进行的拥堵治理和优化；在教育领域，特别是疫情出现后，很多课程以线上视频形式进行，企业内部沟通及知识分享培训也基于直播或在线视频进行。 07 “云智一体”技术与应用解析系列白皮书智能视频篇 这种发展趋势的技术驱动力是云计算和人工智能技术的空前发展，推动视频的应用和体验进入到新阶段。该阶段的核心特点如下： 内容高清化 人们对于内容高清化的需求越来越高，甚至可以说是永无止境；随着5G及超分技术的发展，视频正在逐步从高清升级到4K/8K超高清阶段。 体验沉浸化 最新的CDN、边缘计算、低时延通信、RTC、编解码、AR/VR、5G和AI等技术的发展，让人们在观看视频时，真正可以身临其境，实现与视频内容的全方位互动。全景沉浸式视频正在电视、直播及游戏等更多场景中得到应用。 分析智能化 相比文字和图片数据分析，视频数据的分析有着更高的复杂度，过去对于视频内容的理解分析往往依赖人工。随着人工智能技术的发展，对于视频这类非结构化数据的分析处理也上了新台阶，可以实现自动化对视频内容进行结构内容提取、审核及知识挖掘等。 视频是一个“重”数据应用，“重”在两块：一方面，是对海量视频数据的采集、存储、传输和分发提出了极高的诉求；另一方面，是需要强大的数据智能化分析与处理能力，对语音、图像、OCR、知识图谱等全面的智能化技术非常依赖。视频数据作为一种专门类型的数据资产，在企业中占比越来越高，为了更好的管理好视频数据资产，挖掘其中的业务价值，更好的帮助业务发展，企业开始统一规划与构建云智一体的视频平台。 而百度在视频领域有着长期丰富的业务实践，在长视频、短视频、直播，以及自动驾驶、智能交通等业务领域都有相应的技术积累。同时，百度在长期实践中构建了业界最全面、最领先的AI能力，再加上优秀的云、边、端等资源和能力，百度已然具备云智一体的完整能力，是帮助企业实现业务视频高清化、沉浸化、智能化的最佳合作伙伴。 百度智能云期望能够和企业、开发者及合作伙伴一起，在视频领域共同创新、共同进步，加速产业的智能化转型。 08 云智一体的 全场景视频技术解析>> 3.15G+AI驱动下的视频行业发展趋势 3.1.1消费类视频的云智一体化诉求 如今在消费类视频应用领域，沉浸式视频体验和智能化数字孪生成为主流趋势。在趋势的裹挟下，消费类视频面临着诸多挑战： 一是随着超高清时代的来临，4K/8K等超高清视频的市场需求每年都在万小时量级以上，而目前量级只有千小时级别，视频内容的数量和质量都无法满足超高清时代的需求。 二是随着视频内容的海量增长，传统的人工编目效率根本无法跟上视频增长速度，视频内容的生产、管控和播放等环节都迫切需要更智能化、自动化和更丰富的技术手段来支持。 三是针对视频内容，需要解析更多的结构化信息，才能实现更精准的算法推荐。 面对上述挑战，只有依托云的大规模算力，用AI技术带动内容生产与管播等环节的智能化升级，消费类视频才能实现内容质量与数量上质的飞跃。目前，很多行业互联网企业都已经意识到并开始积极应对这些挑战，但离成功依然遥远。 （图3.1.1-1消费类视频应用的云智一体化诉求） 3.1.2产业类视频的云智一体化诉求 视频应用在产业类服务场景的外延化趋势明显。早期在传统产业里，“视频+联网”主要是在监控场景中使用。如今，视频应用已经深入到生产、工作、管理等产品场景的方方面面，工艺优化、质量检测、安全巡检等都是目前比较成熟的产品类视频应用场景。 除了服务场景的外延化，视频的产业参与度也越来越深。传统的视频监控，只解决了视频的接入问题，后续仍然需要由人来查看和判断。而随着“业务流程数字化与智能化”概念的提出，视频正在逐渐成为一种对物理世界进行智能化改造的手段：通过对设计、生产、运维与分析决策等全场景进行视觉感知，生成海量视频图片等多维度数据并接入边云平台，由云边端算力来承载和调度，由人工智能技术处理视频内容的结构化，对视频语音语义进行自动化理解，实现智能化决策。 “业务流程数字化与智能化”的实现，需要大带宽、低延时、高安全存储和高并发算力的“云”来承载，还需要端智能检测、多模搜索、辅助分析与自动化决策的“智”来引领。 （3.1.2-1产业类视频应用的云智一体化诉求） 3.2智能视频云3.0全景图 随着时代的发展，全面视频化的时代线条越来越清晰，为了应对海量数据接入并提升应用效率，视频数据的数字化与智能化成为必然趋势。 首先，从技术角度来看，数据密集型和人工智能密集型的工作场景已然大规模出现。但由于终端设备型号各异、数据采集规模异常巨大，故而要求设备接入、数据采集与解析等环节都需要更高的异构融合性、算力高并发性以及自动化等能力，这对端边云的承载和大规模算力都提出了严峻挑战。而视频数据要实现自动化解析、智能化建模与应用，也需要强大的算力和传输能力做支撑。最终，这些双向需求推动了端、边、云、智的充分融合，端边云逐渐一体化、云智逐渐一体化。 其次，从业务流程来看，人工智能技术已经可以作用到业务流程的各个阶段。有了颗粒度更细的场景算力与人工智能算法做加持，问题的解决能力也会持续提升，逐渐由只能解决通用场景问题，发展到可以解决更细分、更个性化的场景问题。可以说云智技术的发展，一方面扩展了视频应用的外延范围，另一方面也加深了视频在传统应用领域的作用和价值。 需要