软件定义摄像机关键技术白皮书

中国电信 CHINATELECOM 软件定义摄像机关键 技术白皮书 中国电信终端研究测试中心 t 中国电信软件定义摄像机关键技术白皮书 目录 1、1 2、软件定义摄像机简介.2 2.1定义，.2 22技术特点.3 2.3标准化进展 软件定义摄像机参考技术架构 .5 3.1系统分层椎架，5 3.2算法上线流程 4软件定义摄像机关键技术8 4.1云原生通用化0S能力.8 4.1.1轻品级容器引擎 4.1.2模块化的微服务.10 4.2标准化服务软硬件解据。.11 4.2.1文件股务应费访尚.12 4.2.2准化文件访尚选山.14 4.3高效、标准的算法椎架.1.5 4.3.1绕算法萨架.1.5 4.3.2泛开发草必柜架.17 4.4端例的AI推理与训练.17 4.4.谢练加速药片.18 4.4.2图学习能力.18 4.5消云协同的AI能力19 4.5.1模星动态分款.20 4.52模型动态如载.20 4.6高画质图像采编及处理 .22 4.6.1超清采编技术.22 4.6.2ROI图像优化.23 4.7安全可信的体系架构。.24 4.7.1AI载据的总书及器高.25 4.7.2业务应用的安全运行.25 总结与展望27 -i. t 中国电信软件定义摄像机关键技术白皮书 图目录 图1传统摄像机与软件定义摄像机对比 图2软件定义摄像机标准体系。 图3软件定义摄像机系统框架 ..2 ..4 ..5 图4算法开发与上线流程..7 图5轻量级容器引擎架构 ..9 图6标准化服务架构.11 图7文件即服务架构.12 图8服务文件监控与触发机制 ..13 图9TVM转换架构..16 图10AI端创训练示意图.18 图11软件学习能力示意图.19 图12神经网络分割.20 图13模型动态圳载与计算.21 图14摄像机图像处理流程.22 图15AIROI图像处埋23 图16智能摄像机安全要求.24 -ii- t 中国电信软件定义摄像机关键技术白皮书 表目录 表格4-1容器引擎对比.9 表格4-2标准化接口服务列表.14 -ii- 中国电话软件定义摄像机关健技术白皮书 1、前言 自前传统视频监控正在向智能安防演进，并逐步应用于干行百业，传统AI摄像机采用软硬一体方案，需要针对不同场景需求部害不同摄像机，无法道过在线安装应用或软件升级达到快速适配多场景需求，导致重复开发、应用版本及终端型号众多，限制了智能安防行业的发展。 摄像机终端厂商、芯片厂商正与运营商携手推进“软件定义摄像机”的全新 理念，以专业AI芯片、开放的操作系统、丰富的生态体系来定义智能摄像机的全新架构，接需定义用户场景、实现分层智能及持续更新算法，使得摄像机拥有可持续的生命力。 本白皮书探讨软件定义摄像机的定义、技术特点及系统框架，同时对容器化微服务、文件即服务、统一模型框架、端边云协同等关键技术进行闸述，希望以此凝聚业界力量合力催生软件定义终端新业态，培育智能摄像机新兴市场，推进智能安防走向千行百业。 第1顶 t 中国电信软件定义摄像机关技术白皮书 2、软件定义摄像机简介 2.1定义 软件定义是将原来高度耦合的一体化硬件，通过标准化、抽象化，解耦成不同的软件部件，实现原来必须由硬件才能提供的功能，并通过管理控制软件自动进行硬件资源的部署，为应用提供灵活的服务。 软件定义摄像机（software-definedcamera，以下简称SDC）采用软件定 义技术理念及服务化架构实现硬件和软件解耦，以及多算法aPP按需动态加载，从单一功能向多应用聚合智能摄像机演进。 算力受限算法 按需加款 欣件定义 准确庭低传统摄像机升级复杂设备摄像机实战的 状恋可感知A1算法 软件图化人工遥检 软便件 解相 图1传统摄像机与软件定义摄像机对比 不同于传统摄像机软硬件高度耦合，升级算法困难，算力有限且算法精度低的情况，软件定义摄像机具备专业的AI芯片，充足的算力，开放的操作系统及丰富的生态体系： 专业的AI芯片：通过专用NPU/TPU硬件加速支持深度学习神经网络万亿级计算视觉处理，轻松实现目标分类和属性识别等能力，甚至可以完 第2页 t 中国电话软件定义摄像机关键技术白皮书 全取代后端服务器来完成视频全量特征结构化，让全网智能分析效率最 大化。 并放的操作系统：通过容器化及支件即服务技术屏蔽底层硬件的差异让客算法独立运行在虚拟空间上，实现快速的独立加载与在线更送 丰富的生态体系：为匹配行业场景细分、环境多样化的需求，通过商城 聚合大量行业属性的长尾算法与应用，提供算法应用快速上线、持续演进、按需使用的能力，解决客户复杂场景需求的问题， 2.2技术特点 通过软件能力赋予摄像机不断送代演进的生长能力，软件定义摄像机真备三 大特征： 按需定义场景：摄像机应该具备按需定义场景的特点，根据不同的场景 接需加载不同的软件和算法，通过多样的组合来快速适配瞬舞息方变的演 进步伐。 分层的智能：摄像机一方面采用精准判断，以全特征、多信息的方式 提高准确率，降低误判：同时，通过多摄像机间协同、端云间协同进行联合判断，提高分析准确率。 ，有持续的生命力：具备让算法和应用不断选代、衍进和生长的能力，并 且始终满足客户的业务场景需求。 第3页 t 中国电信软件定义摄像机关键技术白皮书 2.3标准化进展 软件定义摄像机还有待在平台、安全、机器学习和云原生软件开发建立相关 标准。 国际上在ITU-T联合主导推动软件定义摄像机应用场景、系统架构的标准制定：国内由电信、信通院、华为等在CCSA牵头启动制定系统的对软件定义摄像机标准，包括参考技术架构、中间件标准、功能测评方法、应用管理器、算法商城到应用场景需求进行的标准化研究及制定。 软件定义摄像机标准体系 图2软件定义摄像机标准体系 t 中国电信软件定义摄像机关键技术白皮书 3、软件定义摄像机参考技术架构 3.1系统分层框架 软件定义摄像机的系统框架由平台层与终端层组成，平台层包括软件定义摄像机的算法商城与SDC管理器，终端层包括应用层、操作系统层和硬件层 算法 商城尊法仓算法训练算法验证Lice管nse理 SDC ：管理器 终编管理批量管理 APPE监控业务应用 车牌识别人形剂人险 喜图应用器拉用 SDC服劳化授口应用 :SDCSDC通川单操作系境FaaS4( 统一芯片硬件接 963) 磷件层CPUNPUDSPSensorISP 图3软件定义摄像机系统框架 1）算法商城 支持算法应用上传、训练、验证、分发及销售的license管理： 算法仓库：存储、更新、管理AI算法，是AI算法生产、对接、集成、展示的平台； 算法在线训练与验证发布：编辑、训练、调试及运行代码适配，通过算 法在平台端进行训练与模拟验证，实现快速、安全、低成本的算法调试： 第5页 t 中国电信软件定义摄像机关键技术白皮书 License管理：基于云端管控的Al算法license实现应用在软件定义摄 像机上运行的计费、鉴权。 2）SDC管理器 负责管理软件定义摄像机终端与应用分发： 应用生命周期管理：管控AI算法应用在软件定义摄像机上的加载、运行 卸载等功能 应用编排分发：提供AI算法应用在不同软件定义摄像机上的灵活加载与 安装; 基础终端管理功能：提供终端上下线信息、配置信息等基础管理功能 批量升级应用：对软件定义摄像机的AI算法应用进行批量升级管理： 3）SDC操作系统 实现软件与硬件解耦，为AI应用的灵活加载、运行、升级提供系统支持： 服务化接口：实现应用与硬件调用解耦，通过支件读写方式完成对摄像 机sensor、云台、音视频调阅、媒体编解码、安全加解密、算法模型运 作推理及外设管理、告警订阅、日志及存储能力调用的接口； 容器引擎：容器方式隔离算法应用资源的运行环境，使不同法应用可 司时在摄像机上井行运行； 统一芯片接口：解耦系统与底层芯片的接口，屏蔽芯片及硬件差异，使软件定义摄像机中间件可运行在不同平台，不同芯片的摄像机上 应用管理：算法应用的管理，包括算法应用安装、卸载、启动、停正 删除及升级。 第6页 t 中国电信软件定义摄像机关技术白皮书 3.2算法上线流程 在软件定义摄像机系统中算法的开发、部署到应用全流程过程如图4，存在不同的角色及活动，所涉及到的算法全流程过程如下： 客户/集成商算法开发者SDC系统提供者/运营商 其法模型训卷 SDC 图4算法开发与上线流程 开发者基于算法模型训练平台进行模型训练及转换； 开发者开发摄像机应用并通过算法调试环境平台进行调试：开发者将AI模型与APP软件打包上传，提交到算法仓库中：客户通过SDC管理器到应用商城下载算法包； 客户通过SDC管理器部署算法到自己的SDC中。 第页 t 中国电信软件定义摄像机关键技术白皮书 4、软件定义摄像机关键技术 4.1云原生通用化OS能力 云原生技术屏蔽芯片厂商、终端厂商操作系统差异，通过容器化服务体系架构部署，实现算法应用仅一次开发就可在不同广商、异构芯片平台的终端上在线部署： 支持算法应用按需部害，通过在线安装不同应用，从而便捷满定用户层 出不穷的新应用场景； 支持AI算法模型持续更新，基于与摄像机要装场景相关的数据持续在线 进行机器学习模型更新，从而提升模型在场景的精度 支持多算法同时并行运行，各算法应用之间资源及故障隔离，单一算法 的管理操作不影响其他算法应用。 云原生技术实现应用加载与硬件资源的隔离，各种应用可快速动态加载到异构的硬件平合，并保持应用的安全性。在软件定义摄像机上加载容器化技术需要解决以下关键技术问题： 4.1.1轻量级容器引擎 现有容器技术为云服务而生，受限于终端的软硬件资源，现有容器引擎并不适合泛终端上直接运行，因此需要轻量级的容器引擎，轻量级容器引擎功能及架构如下： 第8页 t 中国电信软件定义摄像机关键技术白皮书 UserK8s CUICRIinterface gRPC/RESTServerCRIservice 核心功能 镜像管理可扩展性资源管理生命周期DFX 镜像Runtime ImageserviceExecutionService ImageSnapshot Icr liblxt xnun 图5轻量级容器引孕架构 应用管理标准化：支持符合OCI规范的CLI与CRI接口，支持容器应用及标准镜像部署、分发、运行管理的标准化管理接口； 容器引擎功能：包括镜像管理、可扩展性、资源管理、生命周期管理等： 操作系统要求：可运行在Linux4.6版本以上的机器上，支持Cgroup、 namespace: 运行资源要求：较少的空间资源需求，保证可以在128MBDDR、128MB FLASH的端侧机器运行。 下面是对主流的容器引擎进行对比分析： 表格4-1容器引擎对比 containerd 第9顶 中国电信软件定义摄像机关技术白皮书 Oclspec支 持 105MB 53MB 40MB 168MB 128MB 128MB 128MB 512MB Flash需求 典型DDR 配置 开源协议Apache2.0MulanPSLv2Apache2.0 Apache2.0 开发语言GolangC/C++GolangGolang 标签CNCF官方推荐华为欧拉系统Docker功能 K8s内置组件华为SDC裁剪 应用最广泛 在满足AI摄像机硬件的基础上，结合开源生态、功能、性能、开发语言、社区活跃度等因素，可选择Containerd作为基础进行定制开发。4.1.2模块化的微服务 微服务架构将摄像机功能拆分成彼此独立的功能组件，并提供开放的云原生软件、预封装的文件即服务组件与在线开发环境，力求向不同应用共亨开发与调用流程，满足应用灵活开发、部署的要求： 云原生软件：用于基于微服务的应用开发，实现应用的开发、编译、调 测环境和SDC彻底解耦； 文件即服务组件：将硬件能力封装成服务文件，实现软硬件分层解耦，无需调用底层硬件APK，从而提升开发效率； 在线开发环境：应用开发者可以基于在线平台对AI应用进行开发，验证 与部署。 基于功能模块化的微服