2023 年 EDGE AI 技术报告

2023 EDGEAI 技术报告 《了解国家的指南》 EdgeAI中的硬件和软件艺术。 第一章产业概述及应用用例8 第二章边缘AI的优势18 云/边缘计算连续体：强大的组合21 第三章：边缘AI平台24 第四章硬件和软件选择30 第五章：TinyML38 TinyML在行动：GreenWaves如何启用下一代产品41 第六章：边缘AI算法44 45 第七章传感方式基于视觉的感知模式基于音频的感知模式环境感知模式 简化数据收集：Sparkfun如何实现数据记录其他传感模式 第八章：案例研究 采访ST：从ST的角度对EdgeAI的一瞥 SensoryInc.-通过语音激活的AI技术彻底改变用户体验Pachama-预测森林中的碳捕获ActivSurgical-实时手术可视化 Medtronic-AI驱动的内窥镜检查，葡萄糖监测和心脏病学FeroLabs-通过IoT减 少碳排放 NoTraffic-智能城市的交通管理BloomX-机器人仿生Starkey授粉-助听器运动的高级性能-自主机器人 第九章边缘AI的挑战数据管理挑战集成挑战 安全性挑战延迟挑战可扩展性挑战成本挑战 功耗挑战潜在解决方案 第十章边缘AI的未来 5G/6G网络的兴起与崛起 神经形态计算：通过模仿人脑基于事件的处理和学习来提高AI智能：BrainChip的神经形态AI解决方案 数据高效的AI：在没有足够质量的数据内存计算的情况下实现边缘AI的价值最大化数字内存计算：AxeleraAI解决方案分布式学习范式 异质性和扩大挑战关键利益相关者及其角色 结论确认 关于报告赞助商关于报告合作伙伴关于作者 关于设计师关于 Wevolver 54 54 56 57 58 60 62 63 65 66 67 68 68 69 70 71 72 74 74 76 77 78 78 80 80 81 84 85 86 87 88 89 90 92 93 93 94 96 98 110 112 114 116 Introduction 近年来，人工智能（AI）的出现确实彻底改变了我们的行业和个人生活，提供了前所未有的机会和能力。然而，尽管基于云的处理和云AI在过去十年中蓬勃发展，但我们已经遇到了诸如延迟，带宽限制以及安全和隐私问题等问题。这就是EdgeAI的出现变得非常有价值并改变了AI格局的地方。 EdgeAI代表了AI部署的范式转变，使计算能力更接近数据源。它允许设备上的数据处理，并实现实时的上下文感知决策。而不是依赖 在基于云的处理中，EdgeAI利用边缘设备 （如传感器、相机、智能手机和其他紧凑型设备）在设备本身上执行AI计算。这种方法提供了多种优势，包括减少延迟、降低带宽效率、增强数据隐私以及在有限或间歇性连接的场景中提高可靠性。 “即使使用无处不在的5G，也不能保证与云的连接，并且在每种情况下都不能保证带宽。向AIoT的迁移越来越需要边缘的智能和计算能力。” NandanNayampally,CMO,Brainchip 虽然CloudAI主要在远程服务器中执行数据处理和分析，但EdgeAI专注于 直接在设备上启用AI功能。这里的关键区别在于处理位置和被处理数据的性质。ClodAI适用于可以容忍延迟的处理密集型应用程序 ，而EdgeAI在实时处理至关重要的时间敏感场景中表现出色。通过直接在边缘设备上部署AI模型，EdgeAI最大限度地减少了对云连接的依赖，从而实现本地化决策和响应 。 Edge涵盖了从数据中心到物联网端点的整个频谱。这包括数据中心边缘、网络边缘、嵌入边缘和本地边缘，每个都有自己的用例 。计算要求基本上决定了特定应用在频谱上的位置，从数据集中边缘解决方案到嵌入在汽车轮胎等设备中的小型传感器。与振动相关的应用将朝向一端定位。 频谱，通常在微控制器上实现，而更复杂的视频分析任务可能更接近 到另一端，有时在更强大的微处理器上。 “随着这些边缘平台增强其计算能力，应用程序正在逐渐向边缘移动。” 伊恩·布拉特,Arm技术研究员兼高级总监 当涉及到EdgeAI时，重点主要放在传感系统上。这 包括基于摄像头的系统、音频传感器和智能城市中的交通监控等应用。EdgeAI本质上是一个广泛的传感系统，可以持续监控和解释世界上的事件。在集成技术方法中，收集到的信息可以发送到云端进行进一步处理。 EdgeAI在需要快速决策和即时响应时间敏感数据的应用中大放异彩。例如，在自动驾驶中，EdgeAI使车辆能够处理车载传感器数据 ，并做出瞬间决策，以确保安全导航。同样 ，在医疗保健领域，EdgeAI能够实时监测患者，检测异常，并促进即时干预。本地处理和分析数据的能力使医疗保健专业人员能够及时提供服务。 拯救生命的干预措施。 边缘AI应用领域可以根据特定要求（如功率灵敏度、尺寸限制、重量限制和散热）进行区分。电源灵敏度是一个至关重要的考虑因素，因为边缘设备通常是智能手机 、可穿戴设备或物联网(IoT)系统中使用的低功耗设备。部署在这些设备上的AI模型必须进行优化，以实现高效的功耗，以保持电池寿命并延长运行时间。 尺寸限制和重量限制在区分EdgeAI应用领域方面也起着相当重要的作用。边缘设备通常紧凑且便携，使其成为必不可少的 让人工智能模型变得轻巧和节省空间。这一考虑在将边缘设备集成到无人机、机器人、 或可穿戴设备，其中尺寸和重量直接影响性能和可用性。 然而，边缘计算呈现出事先无法实现的显著优势。 例如，拥有数据可以提供高级别的安全性 ，因为无需将数据发送到云，从而减轻了不断增加的网络安全风险。边缘计算还可以减少延迟和功耗 usageduetolesscommunicationbackandforthwiththecloud,whichisparticularlyimportantforconstraineddevicesrunningonlowpower.Andtheadvantagesdon’tstopthere,asweareseemoreandmoreinterestingdevelopmentinreal-timeperformanance-anddecision-making, 隐私控制和设备上学习，使智能设备能够自主和自适应地运行，而不依赖于持续的云交互。 “人工智能最近的激增是由尖端算法和先进硬件之间的和谐互动推动的。随着我们的前进，这两个元素的共生将变得更加关键，特别是对于 EdgeAI。” BramVerhoef博士,AxeleraAI机器学习主管 EdgeAI在当前和未来的技术领域中具有巨大的意义。通过分散的AI处理，改进的职责，增强的隐私和安全性， 成本效率，可扩展性和分布式计算，EdgeAI正在彻底改变我们的世界。随着不断发生的快速发展，可能很难跟随该领域的所有新进展 。 这就是为什么Wevolver与几位行业专家，研究人员，教授和领先公司进行了合作评估，以创建有关EdgeAI现状的综合报告 ，探索其历史，前沿应用和未来的发展。 本报告将为您提供实用和技术知识，以帮助您了解和导航EdgeAI不断发展的格局。如果没有Alif半导体，Arduino，Arm，AxeleraAI，BrainChip，EdgeImpulse，GreenWavesTechnologies，Sparkfun，ST和Synapics的重要贡献和赞助，本报告将无法实现。他们致力于客观地分享知识和见解，以帮助激发创新 技术进化与Wevolver所做的事情及其旨在实现的影响完全吻合。 随着世界变得越来越互联和数据驱动，EdgeAI正在成为这一转型核心的重要技术，我们希望这份全面的报告 提供所有的知识和灵感，你需要参与这个技术之旅。 SamirJaber 总编辑 第一章: 概述 工业与应用 用例 近年来，数据已从集中式云数据中心明显转移到位于数据源附近的小规模本地数据中心和边缘设备。这导致了EdgeAI的出现和崛起。具体而言，在数据生成源处或附近处理的数据的激增一直是不同应用领域中EdgeAI应用的关键推动因素。 如今，许多企业正在部署和使用边缘功能作为其AI应用程序的一部分。这些功能使他们能够开发具有实时性能的节能，低延迟的应用程序。此外，EdgeAI 功能为企业提供了显着的安全性和数据保护优势，从而改善了隐私控制并更有效地遵守适用法规。这些优势使EdgeAI对许多不同部门的组织非常有吸引力，这些部门在各种用例中部署和使用Edge计算功能。 ThisisthereasonwhytheEdgeAImarkethasagrowingmoval.Act-accordingtoFortuneBusinessInsights,theEdgeAImarketisexpectedtogrowfromUSDfrom1560billionin2022toUSD 到2029年1074.7亿，复合年增长率（CAGR）为31.7%。 工业与制造业 工业领域的创新者将EdgeAI和机器学习视为其未来的重要技术 Arm在2023年春季进行的一项调查发现，边缘计算和机器学习是未来几年影响最大的五大技术之一。事实上，近70%的受访者认为物联网技术对于他们在市场上竞争是绝对必要的 。 工业现代化和向智能制造的转变引发了自动化、机器人和工业物联网(IIoT)的创新。制造部门一直在经历 基于快速数字化转型 ontheintroductionofCyber-Physical-calProductionSystems(CPPS)(e.g.,industrialrobot,intelligentautomationdevices)ontheshopfloor.Thesesystemscompriseaphysicalandadigitalpart,whichenablethedigitizationofcomplexphysicalprocesses. CPPS系统收集和分析有关生产过程的数据，例如生产计划，质量检查和资产维护。通过数据分析，他们获得了有关如何优化这些流程的独特见解。最重要的是，他们利用这些见解来实现实时驱动和控制功能，以关闭与制造车间的循环。这些功能显著提高了产品组装和质量控制等自动化任务的效率和速度 。 然而，基于云数据处理的实时驱动几乎是不可能的，这导致了显著的延迟。 制造商越来越多地转向EdgeAI。这可以在CPPS上执行低延迟的机器学习功能，使其适合实时驱动用例。 网络物理生产系统的概念。图片来源：Imkamp，D.etal.，J.Senss.Senss.Syst.，2016。 EdgeAI在制造业中的一些最突出的用例包括 ： •实时检测缺陷，作为质量检查过程的一部分，利用深度神经网络分析产品图像 •基于工业机器人低张力操作的实时生产装配任务执行 •基于增强现实（AR）和混合现实（MR）设备，为技术人员提供现场任务的远程支持；低延迟边缘计算节点用于实时渲染基于AI的AR/MR流（例如，基于AI的维修建议），并有效地将远程专家的在职说明传输给现场技术人员。 虽然低延迟是制造业的主要边缘AI驱动因素， SomeusecasesalsobenefitfromEdgeAI’ssecurityandprivacycontrolfeature-res.Forinstance,several3DprintusecasesleverageEdgecomputing 避免通过集中式云基础架构共享敏感的知识产权。 医疗保健 医疗保健部门生产和管理大量敏感数据，如患者数据集。因此，在医疗保健中部署和使用EdgeAI的基本原理在于此Edge范例的实时功能和隐私控制功能。例如，EdgeAI部署在数据所有者的驻地内处理数据(例如。Procedre、护理中心、医院或患者之家)，这是一个令人信服的价值主张。 同样，EdgeAI的低延迟特性使实时应用程序有时可以挽救患者的生命，尤其是在部署使用机器学习的可穿戴技术时 监