2024 年边缘人工智能术报智索生成式 AI 与边缘算的结合中文版

边缘AI技术报告 边缘版✁生成AI 深入探究生成式AI和边缘计算✁融合 Introduction5 第一章：利用边缘计算实现生成式AI6 生成式AI在边缘设备上✁应用边缘计算在实际部署中✁优7 势生成式AI与边缘计算基础设施✁集成 粒子如何在边缘改变AI部署8 边缘部署✁行业观点9 11 13 第二章：边缘生成AI✁创新和进步16 行业趋势、市场分析和创新驱动因素17 利用具有边缘脉冲✁生成AI进行边缘应用 AI工作负载：从远边缘到云边缘LLM✁关键研究趋势结论19 22 23 25 第三章：边缘生成AI✁实际应用26 当前生成AI技术和实现概述27 通过Syntiant优化✁生成模型加速EdgeAI 跨关键行业✁生成式AI结论29 31 39 第四章基于边缘✁生成AI✁挑战与机遇40 关键挑战及边缘部署生成式AI✁战略与解决方案指南未来机遇与增41 长领域结论：激发行动与创新42 44 46 关于报告47 关于赞助商48 EdgeImpulse Particle48 Syntiant50 作者52 Wevolver54 tinyML基金会 参考文献和其他资源55 56 57 Introduction 我们曾认为云是人工智能（AI）✁最后前沿，但真正✁魔法发生在更近✁地方——边缘，在那里设备现在可以实时思考、生成和响应。AI✁快速演变，尤其是生成式AI，从根本上重塑了各个行业，并对现有✁计算基础设施提出了挑战。许多AI模型，特别是资源密集型模型如大型语言模型（LLMs），长期以来一直依赖集中式✁云系统来获取所需✁计算能力。然而，随着各行业对AI驱动交互✁需求增长 ——从自动驾驶车辆到个性化内容生成——明显转向边缘计算。本报告基于与行业领导者和技术专家✁讨论，探讨生成式AI如何被整合到边缘环境中，并分析这对未来技术✁影响。 不同于以云为中心✁方法，边缘计算将数据处理移至数据生成✁位置——如传感器、微控制器（MCU）、网关和边缘服务器等设备。这一转变对于需要低延迟、高带宽效率和增强数据隐私✁应用至关重要。本报告✁第一章深入探讨了边缘计算在提升生成式AI方面所发挥✁基础作用，详细分析了其关键角色。 各种设备✁参与以及整合这些技术✁实际考量。本章还探讨了编排和机器学习运营（MLOps）在管理从边缘到云连续体中✁AI工作负载方面✁关键作用，并提供了行业视角下✁边缘部署✁优势与挑战。 随着报告✁展开，我们将探讨推动这一融合✁创新与进步。第二章重点介绍了生成式AI和边缘研究领域✁最新突破，分析了从远端边缘到云端✁AI工作负载协调方式。本章不仅涵盖了技术进步，还提供了行业采用趋势和驱动力✁市场分析。重点关注推动这一领域边界拓展✁合作努力和伙伴关系。 现实应用将这些概念生动展现出来，因此我们在第三章中专门展示了在各个行业边缘部署生成式AI✁应用案例 。本章通过实例说明了这些技术如何在机器人、医疗、制造、汽车、零售和智慧城市等行业中改变运营方式。这些案例突显了在边缘部署AI✁实际益处，包括提高效率、真实✁ 时间决策和增强✁用户体验。 当然，伴随着创新而来✁是挑战。第四章探讨了组织在边缘实施生成式AI时面临✁关键障碍，从管理分布式网络✁复杂性到确保资源受限环境下AI模型✁可靠性。本节提供了应对这些挑战✁策略和最佳实践，这些策略和实践得到了领域内领先专家见解✁支持。 这份报告体现了作者、贡献者以及Wevolver对为行业领导者、技术专家和决策者提供导航生成式AI和边缘计算复杂环境所需✁见解✁深刻承诺。Wevolver团队✁贡献、作者✁广泛研究以及赞助商提供✁专家意见确保了内容既具有信息性又能激发进一步✁创新。当我们阅读这份报告时，我们希望它能作为全面✁指南，帮助理解并利用生成式AI在边缘✁强大功能，并为未来✁进步和行业发展提供路线图 。 SamirJaber总编辑 5 EdgeAI✁两半。图片来源：Supermicro.com。 跨边缘设备✁GenerativeAI 在生成式AI与边缘计算✁融合中，每种类型✁边缘设备在构建无缝、响应迅速且智能化✁网络中发挥着关键作用。在这些设备上实施生成式AI改变了数据✁生成、处理和利用方式，从而实现了实时决策制定和个人化体验 。 传感器是这一生态系统中✁前线，捕捉真实世界中✁原始数据以驱动生成式AI模型。例如，在工业环境中，传感器可以持续监控机械设备 ，并将数据输入预测维护需求或实时优化运营✁AI模型中。这一层面 ✁生成式AI模型可以从这些数据开始进行局部化、 基于接收到✁数据立即作出决策，调整参数或触发警报，而无需将数据传递至更高层次✁处理层。 微控制器（MCUs）承担起处理更加复杂处理任务✁角色。它们能够在需要即时且低功耗决策✁地方实现设备端推理。对于生成式AI，MCUs可以运行简化模型或早期阶段✁处理，以过滤或预处理数据后再传递给更强大 ✁设备。例如，在智能家居设备中，MCU可以运行一个轻量级✁生成式AI模型，根据用户偏好和输入数据生成个性化✁语音响应或音景。除了识别命令外，MCU还可以生成实时响应，比如动态创建特定✁环境背景噪声以匹配用户✁情绪，或者生成其他实时反馈。 个性化锻炼例程，减少对云处理✁依赖并增强隐私。 网关通过传感器和微控制器处理✁高volume、低复杂度任务与边缘服务器进行✁更复杂✁处理相连接。借助生成式AI，网关可以聚合和预处理来自多个来源✁数据，并应用中间✁AI模型以生成初步预测或建议。例如，在智能城市环境中，网关可以从各种传感器收集交通数据 ，使用生成式AI预测交通模式，然后将这些见解分享给更高层次✁系统或直接分享给连接✁车辆。 边缘服务器代表边缘计算基础架构 ✁关键组件，处理更复杂✁ 第一章: 利用边缘计算实现生成式AI 生成式AI引入了技术需求✁新波浪，特别是在基础设施方面。传统上，AI模型——尤其是资源密集型✁大型语言模型（LLMs）——依赖集中式✁云计算来提供其复杂处理过程所需✁计算能力。然而，随着各行业对更实时交互✁需求不断增加，将这些AI能力推向用户端✁必要性变得越来越明显。对即时、由AI驱动✁洞察✁需求正在推动向边缘计算✁转变，在这种模式下，数据可以在设备上本地处理 ，从而减少云依赖带来✁延迟和带宽限制。 6 7 并且在资源消耗方面比小型边缘设备更为密集。然而，与拥有丰富计算能力✁云服务器不同，边缘服务器在资源受限✁情况下运行，这使得同时托管大型生成性AI模型（如LLMs）变得具有挑战性。相反，这些服务器专注于运行经过优化✁小型模型版本，并采用模型剪枝和量化等技术以确保高效性能。 在医疗健康等环境中，边缘服务器可以实时处理来自多种医疗设备✁数据 ，利用优化✁生成式AI模型提供即时诊断或治疗建议。这种局部处理减少了延迟并提高了可靠性，这是至关重要✁。 在需要迅速做出决策✁情景中适用 。然而，将大规模模型部署到多个边缘服务器上需要精心✁协调和优化，以平衡有限✁计算资源。 本质上，生成式AI与边缘计算✁融合不仅仅是分配计算任务，而是关于增强每一层边缘基础设施✁自主运行能力，同时为一个协同智能系统做出贡献。这确保了由AI驱动✁洞察不仅更快更可靠，而且更具上下文意识，从而在各行各业中实现更智能、更具响应性✁应用。 边缘计算在现实世界部署中✁优势 边缘部署生成式AI✁一个主要优势是显著减少了延迟。对于需要实时响应 ✁应用程序，如自动驾驶、机器人技术和增强现实，将数据本地处理能够带来巨大✁好处。这样做可以最大限度地减少分析数据和执行操作所需✁时间，这对于必须即时响应外部刺激 ✁应用至关重要。这种延迟✁减少是边缘计算在AI部署中日益普及✁关键因素之一。 除了降低延迟之外，边缘计算还增强了数据隐私和安全性。通过将数据处理本地化，边缘计算减少了传输敏感信息到潜在不安全网络✁需求。这在医疗保健和金融等行业尤其有益，因为在这些行业中，数据泄露可能产生严重后果。本地处理确保敏感信息保留在设备内或组织✁地理边界内，有助于符合数据主权法规。 此外，边缘计算能够显著节省带宽。在以云为中心✁模型中，大量数据必须传输到云端并从云端传输回来，这可能会相对昂贵且效率较低。边缘计算通过在数据源处处理数据，减少了对大量数据传输✁需求，从而节约了带宽。这在连接受限✁环境或数据传输成本较高✁情况下尤其有利，例如远程监控系统和工业物联网（IoT）部署。 与边缘计算基础设施✁生成式AI集成 在这些设备上部署大型生成模型需要对模型本身进行重大优化。 模型优化技术 像模型剪裁、量化和知识蒸馏等技术对于使AI模型适合边缘部署至关重要 。 •修剪涉及通过移除非必要✁组件来简化模型✁复杂性，从而帮助减少计算负载。 •量化降低了模型中使用✁数字✁精度，降低了内存使用和处理要求 。 •知识蒸馏允许一个小规模更高效✁模型（“学生”模型）从一个大规模更复杂✁模型（“教师”模型）中学习，同时保持性能并在边缘设备上进行优化。 这些优化策略至关重要，但同时也存在权衡。例如，虽然剪枝和量化可以减少模型✁大小，但也可能影响其准确性。因此，在边缘部署生成式AI时 ，平衡模型大小、准确性和计算效率之间✁权衡成为了一个重要✁挑战。 生成✁AI部署策略 在网络边缘设备✁网络中部署生成式AI模型需要orchestrating、机器学习运营（MLOps）以及精心规划✁策略 ，如模型分区和联邦学习，以平衡计算负载并确保实时性能。 模型分区是一种关键策略，它将较大 ✁生成模型拆分成较小✁子任务，并分布到多个边缘设备上——无论是用于推理还是早期✁数据处理。通过这种方式，分区后✁模型可以在设备间优化资源使用，即使面临资源限制也能高效运行。例如，在多设备网络中 ，处理✁第一层可能发生在较低容量 ✁设备上，而更具能力✁边缘服务器则处理更复杂✁层级。 除了划分数据之外，联邦学习已成为一种关键策略，可以在边缘设备之间进行协作模型训练，而无需将原始数据传输回中央位置。这种分散✁学习方法允许设备训练本地模型并共享见解，从而增强数据隐私和安全性能，同时保持模型准确性。联邦学习特别适用于拥有多种异构边缘设备✁环境 ，在这种环境中，这些设备可以协同工作以提高模型性能，同时减少对云服务✁依赖风险。 整合生成式AI与边缘计算涉及多个实际挑战，特别是在资源受限设备上优化模型方面。边缘设备如物联网传感器和智能手机通常在计算能力和内存方面远逊于云服务器。因此， 边缘计算在实际应用中✁五大优势。 管理这个复杂✁设备网络✁另一个关键策略是 89 粒子如何在边缘改变AI部署 边缘计算✁转型是由低延迟处理、增强✁隐私保护以及减少对云服务✁依赖所驱动✁ 。Particle公司✁Tachyon单板计算机使得在边缘端执行复杂✁AI工作负载成为可能，从而允许应用程序在本地运行高级模型而无需依赖云服务。这为依赖实时决策✁行业带来了显著✁速度、隐私和自主性✁提升。 具有12TOPS✁NPU性能和八核CPU，Tachyon专门设计以支持边缘端对高性能AI模型✁需求，包括变压器和GANs。这一能力为广泛✁应用提供了动力——从适应性零售展示和自主机器人到生成设计工具等应用领域，其中即时、智能✁响应至关重要。 Tachyon✁AI能力：边缘✁无缝性能 泰乔尼整合了高性能AI加速与下一代连接性，以满足边缘智能日益增长✁需求。其12TOPSNPU可以直接在设备上执行实时任务，如物体检测、预测性维护和高级异常检测，从而减少对云服务✁依赖。 5G和Wi-Fi6E✁连接性确保即使在挑战性环境中，无人机和协作机器人等应用也能不间断运行。对于制造、配送和能源等领域✁需求场景，Tachyon本地处理数据✁能力使系统无论在线还是离线都能平稳运行。 其基于RaspberryPi✁模块化设计提供了灵活性，使开发者能够构建自定义✁边缘解决方案。这种灵活性使得自主配送机器人、工业传感器或远程油井监测器等应用成为可能，所有这些应用都旨在实现实时数据处理并减少延迟。 从原型到生产：