3D视觉感知 头豹词条报告系列

的问题。3D视觉是机器视觉的一种，和2D视觉相比，由于2D平面视觉无法获得物体的空间坐标信息所以不支持 与形状相关的测量诸如物体平面度、表面角度、体积或者区分相同颜色的物体之类的特征或者在具有接触侧的物体位置之间进行区分，而且2D视觉测量物体的对比度这意味着特别依赖于光照和颜色/灰度变化测量精度易受变 量照明条件的影响。相比之下，3D视觉感知具有以下优点：① 在线检测快速移动的目标物，获取形状和对比度；② 消除手动检查带来的错误；③ 实现部件和装配的100％在线质量控制；④ 最大限度地缩短检测周期和召 回；⑤ 最大限度地提高生产质量和生产量；⑥ 对比度不变，是检查低对比度物体的理想选择；⑦ 对较小的照明变化或环境光不敏感；⑧ 建立大型物体检测的多传感器设置更简单。目前常见的3D视觉感知技术解决方案主要 是：3D空间结构光、TOF飞行时间法、激光三角测量法等。随着测量精度要求越来越高，被测物体条件越来越复杂，2D系统的缺陷也愈发突出，而3D视觉感知技术不断获得突破在精度、灵活性和速度方面都是2D无可比拟 的，所以空间机器视觉检测有逐渐取代2D视觉的趋势。 [1] 1：http://vr.sina.com.… 2：新浪VR [2] 3D视觉感知行业分类 3D视觉感知行业参照3D视觉感知的技术原理进行分类，根据3D视觉感知的测量原理，目前市场上主流的有 四种3D视觉技术双目视觉、TOF、结构光和激光三角测量。对于这四种3D视觉原理各自的优缺点，在实际应用 中，需要根据深度、精确度、识别距离、软件要求、成本以及功耗等方面的要求具体选择。 3D视觉感知行业分类 双目技术是目前较为广泛的3D视觉系统，其原理相当于人的两只眼睛用两个视点观察同一景物以获取在不同视角下的感知图像然后通过三角测量原理计算图像的视差来获取景物的三维信息。（1）优点：由于双目技术原理简单不需要使用特殊的发射器和接收器只需要在自然光照下就能获得三维信息所以双目技术具有系统结构简单、实现灵活和成本低的优点适合于制造现场的在线、产品检测和质量控制；（2）缺点：双目技术的劣势是算法复杂，计算量大而且光照较暗或者过度曝光的情况下效果差。 双目技术 TOF飞行时间法（Time-of-Flight）则是通过专用传感器，捕捉近红外光从发射到接收的飞行时间差来判断并计算出物体的距离信息，原理是通过给目标物连续发送光脉冲然后用传感器接收从物体返回的光通过探测光脉冲的飞行时间来得到目标物距离。（1）优点：这种方式具有实时性较好的特点，相对3D结构光算法比较简单，可测量较远距离（一般在100m 以内），比如华 3D视觉感知行业特征 3D视觉感知行业具有如下明显特征：（1）3D视觉感知是多学科的交叉融合。主要有计算机视觉、计算机 图形学、人工智能、深度学习等，还涉及到三维感知、位姿感知、三维建模、三维理解以及三维认知的方面； （2）下游产业发展迅速带动3D视觉感知行业发展，行业渗透率有望继续提升；（3）3D视觉感知相对2D视觉 [4] 具有比较优势，体现在丰富的数据采集、测量稳定性、多传感器拼接等方面。 多学科的交叉融合 与机器视觉、人工智能等新兴技术深度融合发展 三维视觉作为一个学科来讲，是多学科的交叉融合。主要有机器视觉、计算机视觉、计算机图形学，还涉及集成电路、人工智能、光学、智能芯片等等相关技术。目前越来越多人工智能的元素体现在三维视觉 上，因为三维视觉需要涉及到感知、理解，甚至是认知层面，所以人工智能的引入成为行业发展的趋势。 因此，三维视觉具有多学科交叉的特点。 下游产业发展迅速带动3D视觉感知行业发展 无人驾驶、机器人等应用领域需求扩张带动行业规模整体上升 当前3D视觉感知中，测量/检测领域需求最明确且市场规模较大，行业集中在消费电子、汽车制造，但这些领域也存在外资竞争激烈的情况。此外，半导体作为新增市场，随着产业链逐渐转移到国内，未来也会 出现高速增长。消费电子、汽车制造、半导体这些领域对于技术要求较高。高精密制造行业需求较大、价格相对不敏感，但对设备精度、准确度、稳定性等要求较高；行业内大客户集中，客单价可达百万级。在 消费电子领域，客户对于精度的要求普遍0.01-0.001微米之间；速度在1-2S/件；准确率方面，由于该行业 非标性较强，根据客户需求会在75%-98%之间浮动；客单价在几十万到上百万元不等。半导体领域，在制造与封装测试环节中，质量检测与良率控制极其重要，封装测试设备是芯片的关键环节，但目前仅靠人工 所能发挥的力量有限，因此封测设备对3D机器视觉需求迫切。当前客户对于精度的要求普遍在微米 （0.001mm）到亚微米（1.0μm）之间，速度大约在每秒40-50平方厘米，误报率5%-10%，客单价上百 万元。下游行业的需求增长会带动3D视觉感知市场的增长，对于技术的高要求也会倒逼产业升级和技术创新。 3D视觉感知相对平面视觉具有比较优势 在数据采集、测量稳定性、精度等方面具有显著优势 3D视觉感知通过添加描述形状的第二层数据来建立在平面的成熟功能上，通过3D摄像头采集视野空间内每个点位的三维坐标信息，通过算法复原获取三维立体成像。主要优势表现在：（1）丰富的数据采集。 3D视觉可以测量产生2D系统不能的形状信息，可以测量与形状相关的特征，例如物体平直度，表面角度和体积；（2）测量稳定性。3D传感器中的所有组件都被牢固地安装在单个光机械组件上，以确保重复性， 焦距相对于发射器和成像器平面锁定在位，并且包括温度补偿功能，以便纠正由于金属蠕变而引起的移 动；（3）精度和重复性。利用3D机器视觉提供的深度测量信息，由于物体位置(距传感器的距离)减小了误 差，物体可以在传感器的测量体积内的任何位置移动，并仍能得到较为准确的结果。不仅简化了物体固定要求，还降低了系统设计和维护成本；（4）多传感器拼接。3D机器视觉能够使用已知的伪像将来自相对 较少的多个扫描仪的3D点云拼接在一起，从而校准到通用坐标系。 萌芽期 1960~2000 （1）1960年代：计算机视觉的起步。在这个时期，计算机科学家开始研究如何让计算机“看到”和 理解图像； （2）1970年代：数字图像处理技术的发展。这个时期，数字图像处理技术得到了快速发展，为后来的3D机器视觉技术奠定了基础； （3）1980年代：3D机器视觉的兴起。在这个时期，3D机器视觉技术开始应用于工业自动化、机器人控制等领域；（4） 1990年代：3D扫描技术的出现。这个时期，3D扫描技术开始应用于医疗、建 筑、文化遗产保护等领域； 启动期 （1）2001年：3D机器视觉开始应用于工业自动化领域，用于检测和测量产品的尺寸、形状和位 置； （2）2003年：3D机器视觉技术开始应用于医疗领域，用于诊断和治疗疾病； （3）2005年：3D机器视觉技术开始应用于安全监控领域，用于监测和识别人员和车辆； （4）2007年：3D机器视觉技术开始应用于军事领域，用于侦察和目标识别； （5）2010年：3D机器视觉技术开始应用于智能交通领域，用于交通流量监测和车辆识别； （6）2012年：3D机器视觉技术开始应用于无人驾驶汽车领域，用于实现自动驾驶功能。 此阶段为3D视觉感知的启动期，此阶段内技术发展有了一定的突破性进展，应用领域也更加广泛。 空间机器视觉技术得到进步，开始在工业自动自动化、医疗器械、智能交通、安防监控等领域得到广 泛应用。 高速发展期 2016~2023 （1）2021年2月，英伟达推出了一款名为“Jetson Xavier NX”的嵌入式计算平台，可用于实现高性能的3D机器视觉应用。 （2）2021年4月，苹果公司发布了一款名为“AirTag”的追踪器，其中包含了3D机器视觉技术，可用于定位和跟踪物品。 （3）2021年5月，谷歌推出了一款名为“Mesh”的3D建模工具，可用于创建逼真的虚拟场景和物体； （4）2021年6月，英特尔发布了一款新的深度学习加速器“Intel RealSense ID”，可用于人脸识别 和身份验证等应用； 此阶段为3D视觉感知的高速发展期，与机器视觉、人工智能等新兴技术融合发展。在此阶段内，由 于中国机器视觉、人工智能、空间感知等相关技术不断取得突破，因而3D视觉感知技术也在逐渐完善，能够更好的满足下游领域的需求，行业内新进入者逐渐增多，行业迎来扩张期。 [5] 1：https://cloud.tenc… 2：腾讯云 3D视觉感知产业链分析 3D视觉感知产业链目前已经基本形成。产业链上游主要是提供各类3D传感器硬件的供应商，代表企业包括索尼、三星、韦尔半导体、微软、英特尔等；中游为3D视觉方案或算法提供商，代表企业包括三星、英特尔、 德国GOM公司、美国CSI公司、瑞典海克斯康、奥比中光、天准科技、奥普特等；下游为3D视觉感知系统集成与应用开发商，涵盖消费、工业领域，代表企业包括联创电子、麦迪森、华星光电、北斗星通、小鹏汽车、大 疆、华视智能等。 产业链上游：产业链上游主要为提供各类3D视觉传感器硬件的供应商或生产商，其中上游模组组装是最有 价值的环节。在上游模组领域，由于需求较为分散，因此形成了较为分散的市场格局，不同的新分领域中有不同的头部企业。3D视觉感知行业的整体发展与上游核心元器件的升级迭代紧密相关，因此产业链上游元器件的定 制化研发是未来趋势。从技术路线来看，多数3D视觉感知技术如iToF、dToF等依然处于起步发展阶段，整体行 业也处于发展期； 产业链中游：产业链中游为3D视觉感知方案及算法提供商。从产业集聚的角度来看，目前3D视觉解决方案 提供商主要集中于东部沿海地区，中西部地区尚在发展阶段。从行业特性来看，由于3D视觉感知属于技术密集型行业，且技术和产品更新迭代速度快，研发周期较长且投入大，因此头部企业具有较强竞争优势。3D视觉感 知行业有全产业链融合发展的趋势，头部企业如奥比中光、天准科技等布局全产业链。从技术发展路径来看，未 来识别距离远、抗干扰性强以及功耗较低的TOF方案有望成为主流应用。 产业链下游：产业链下游主要是根据终端的各类应用场景而开发的应用方案。产业应用终端主要是基于3D视觉感知技术的各类应用场景客户，涵盖消费级和工业级。目前消费电子市场是3D视觉感知技术最大的应用领 域之一。从发展趋势来看，未来应用领域将从工业级向消费级过渡，行业渗透率有望继续提升。随着下游的应用 场景逐渐增多，也将倒逼产业链中游主要3D视觉感知技术快速进化，推动行业加快发展。 上 产业链上游 生产制造端 原材料及设备供应商 上游厂商 索尼（中国）有限公司 三星（中国）半导体有限公司 上海韦尔半导体股份有限公司 查看全部 产业链上游说明 产业链上游主要为提供各类3D视觉传感器硬件的供应商或生产商，其中，上游模组组装是最有价值 的环节。上游环节中传感器模组生产商主要基于3D视觉传感器的设计进行生产设备的定制，产线设计与优化，实现规模化生产。 （1）3D视觉感知上游的传感器主要由深度引擎芯片、光学成像模组、激光投影模组以及其他电子器件、结构件等构成。其中光学成像模组的核心部件包括感光芯片、成像镜头、滤光片等核心元器件； 激光投影模组包括激光发射器、衍射光学元件、投影镜头等核心元器件。感光芯片供应商有索尼、三星、韦尔股份、思特威等；滤光片供应商有Viavi、五方光电等，光学镜头供应商有大立光、玉晶光 电、新旭光学等；激光发射器供应商有 Lumentum、菲尼萨（Finisar）、艾迈斯半导体（AMS）等，衍射光学元件供应商有CDA、AMS、驭光科技等。在3D视觉感知芯片领域，头部光学企业已经 布局并有一定的研发成果，以奥比中光为例，其自主研发的结构光深度计算ASIC引擎，将双目与结构光融合，相关产品已经进行了4次迭代，目前已经成为3D视觉领域核心芯片； （2）3D视觉感知产业链上