类脑计算

insightsQ量子位 Brain-inspiredComputing/Neuromorphic Computing 类脑计算/神经形态计算 QbitaiIndustryInsightsReport 深度产业报告 量子位硬科技深度产业报告一一类脑计算/神经形态计算 引言 近年来深度神经网络（DNN）取得了令人瞩目的进步，但与人脑相比，DNN在信息处理的效率（速度和功耗）上表现仍不够好。在人脑中，信息以连续的方式快速处理，而DNN系统中所处理的是一幅幅静态图像，而且计算密 集。 在传统DNN中，计算、存取数据时的“内存墙”问题，导致大量数据搬运中产生额外功耗以及延迟。此外，精确 计算也是DNN的另一特征一一即便是无价值的输入，也会全部参与计算，导致计算资源浪费且计算效率低。 相反，人脑中神经元以脉冲的形式进行信息传递。每当神经元发出脉冲信号时（被激活），脉冲信号会传输到所连接的神经元进行处理。若未能达到触发阅值，神经元则处于非激活状态，并且存储对过去输入的记忆，因此人脑采用的是一种稀疏的、空时域信息处理机制。 人脑作为一个极度优化的系统，在高并行工作时功耗仅为20W左右一一大脑中约870亿个神经元高度非线性地工作，每个神经元在外部和内部都与其他神经元有多达10,000个连接，在内部承载着数十万个协调的并行过程。这样庞 大的网络却有如此低的能耗，使得人类大脑在处理复杂问题时具有绝对优势。 如今，人工智能的发展主要依靠庞大的数据量和精确计算。在冯诺依曼架构下，庞大的数据量意味着计算机承担着频繁且大规模的运算，随之而来的就是功耗极速上升。随着各国碳中和脚步加快，高能耗甚至需要企业付出额外成本。尽管我国没有明确碳排放超标的惩罚措施，但庞大计算量产生的用电成本、维护成本就不是一般人工智能企业可以支付起的。因此，人工智能的“可持续发展”一定是建立在功耗成本可控的基础上。 如何将计算机的功耗控制在合理范围内呢？借鉴人脑特性自然成为研究人员共同关注的方向。 相比于当前最先进的系统，模仿大脑运行机制的硬件系统具有高效和低功耗特点。模仿大脑行为的神经网络被称为神经形态网络，其代表为脉冲神经网络（SNN），也是目前类脑研究的核心。这种被称为“第三代神经网络 的出现，可以弥合神经科学与机器学习之间的鸿沟，使用神经元模型进行信息编码和计算，借鉴生物脑稀疏的、 空时域信息处理机制，充分发挥神经网络的效率。 模仿大脑神经结构和工作原理而创新出来的神经形态计算被称为类脑计算。欧洲的HBP（人脑计划）曾指出， “未来10-20年内，谁要引领世界经济，谁就必须在这个领域领先”。 2 量子位硬科技深度产业报告一一类脑计算/神经形态计算 目录 技术篇 04概述 05脉冲神经网络 06技术生态 10研究进展 12技术难点 价值篇 14直接价值 16间接价值 产业篇 17行业现状 19玩家分析 23潜在商业化路径 25行业关键驱动因素 3 量子位硬科技深度产业报告一一类脑计算/神经形态计算 技术篇 概述 人工智能✁发展途径 当前，人工智能✁发展有两个主要路径，一个是沿计算机科学发展而来✁深度学习途径，另一个是沿着模仿人脑发 展而来✁类脑计算途径。 ·深度学习途径 这个方向✁发展主要通过FPGA或ASIC方式设计芯片模块，或采用分布式存储✁整体架构来提高计算✁能效比和速 度。 架构设计主要以高效支持当前✁深度学习为优化目标，通过大规模✁并行计算提升计算密度，从而获得性能提升。 典型代表包括谷歌✁TPU、Graphcore✁IPU、阿里✁含光800等。 这类芯片通常面向特定领域✁专门应用，需要大量✁数据训练神经网络，其较长✁设计选代周期也增加了芯片✁开 发应用成本。 ：类脑计算途径 这个方向是以模拟人脑神经网络计算为基础而发展出✁一种新型芯片，通过模拟神经元和突触✁典型特征，如存算一体、脉冲编码、异步计算、动力学模型等特点，希望通过这些模拟从而达到更高✁智能水平。典型代表包括IBM TrueNorth、IntelLoihi和基于ARM架构发展而来✁SpiNNaker。 定义 总体来说，类脑计算可分为狭义和广义两类： 狭义✁类脑计算是模仿大脑神经结构和工作原理而创新出来✁神经形态计算（如SNN芯片设计）、SNN类脑模型、 脑仿真、STDP学习方法和类脑智能应用，学术界称其为Brain-likeComputing（也称做Neuromorphic Computing)。 广义✁类脑计算是借鉴脑✁结构和工作原理，但又不局限对脑✁模拟（SNN），还包括融合传统✁人工神经网络 (ANN)等具有更多类脑特征✁异构神经网络，是一种融合当前计算机科学和神经科学✁计算发展途径，学术界称其 为Brain-inspiredComputing .人脑特性 结构：人脑由大量神经元通过突触连接在一起，每个神经元通过接受发送脉冲、建立新✁突触，从而构建起一个庞 大✁计算网络。 工作机制：生物神经元主要由树突、轴突和胞体组成。树突负责收集其他神经元传来✁信息并通过电流✁形式将其传给胞体，胞体相当于一个中央处理器，树突传来✁电流引起胞体膜电位变化，当膜电位超过一定阅值时，神经元将发出一个脉冲信号，通过轴突传给其他神经元。只有当膜电位达到放电阅值才会激发神经脉冲传递信息，大部分✁神经元在活动周期中都处于静息状态，从而实现大脑✁超低功耗高效运转。 4 量子位硬科技深度产业报告一一类脑计算/神经形态计算 ·类脑计算如何模仿大脑✁计算机制 与传统冯诺依曼架构下✁计算机相比，人脑无法高效地进行精确✁数值计算，但人脑✁优势在于智能和高效。例如 自动忽略非必要信息，从而减少能耗；在处理信息✁同时能够对其进行加工、理解、抽象和归纳。此类功能在识别物体，对视频、音频数据✁理解等场景中均有体现。 类脑计算就是以人脑为蓝本，实现新一代计算体系结构，主要思路是以事件触发（Event-driven）为运算机制，基 于脉冲神经网络来仿真人脑，从而构造新型计算系统。 脉冲神经网络（SNN） 脉冲神经网络是受生物启发✁新一代人工神经网络，以脑科学为导向，沿着脑模拟方向发展，以0/1脉冲序列表达信息流，编码里包含了时间信息；另外，神经元内部具有动力学特征，具有事件驱动、稀疏发放等特点。 主要特征 ：时序性（与ANN最大✁区别） 通过脉冲编码将输入信息转换成脉冲序列信号，并在信息传递过程中维持脉冲之间✁时间关系。因此，神经元具有 微观✁记忆特性。 ·事件驱动（事件驱动是实现稀疏计算✁根本基础 SNN中✁神经元不会在每个信息传递✁周期都被激活，只有当神经元膜电压积累到特定✁电压阅值时才会放电（发放脉冲）。神经元激活后，会发放一个脉冲信号传递给其他神经元，其他神经元会根据这个脉冲信号增加或减少膜 电压。 关键要素 任何脉冲神经元✁设计都要考虑三个问题：神经元模型，更新连接权值✁机制和神经元互联结构。 ：大脑中神经元模型与网络结构在人出生之时已基本形成，且在人✁成长过程中几乎不会发生大✁变化。变化主要体现在成长过程中与外界环境不断交互，获取新知识并与已有知识建立联系，从而提升问题解决和环境自适应能 力。 ：基于脉冲神经网络✁仿脑特性，其学习规则✁构建处于次要位置，而对学习机制✁模仿是脉冲神经网络发展和应 用✁关键。 ：如何找到一个兼具生物合理性和计算效率✁脉冲神经元模型，以及如何建立脉冲神经元模型与AI任务之间✁关系： 是类脑计算领域✁核心问题。 目前学术界和产业界对于类脑计算✁探索及前沿应用主要围绕SNN及其扩展✁神经网络展开，因此我们将关注聚焦在 SNN上。 ANNVS.SNN 近10年内，深度学习在图像识别、自然语言处理、语音识别和专家系统等方面取得可以匹敌人脑、甚至超越人脑 ✁成果。但另一方面，当前✁深度学习也面临诸多挑战，如需要充足✁数据、完整✁知识、确定✁静态问题、容错性比较差等。而脉冲神经网络通过融合受生物启发✁、高效✁神经信息处理机制，有望实现更稳定鲁棒✁信息表征、更高效节能✁生物可塑性网络。 深度学习网络模型和脉冲神经网络模型能够彼此形成互补。深度学习模型✁计算准确率高，研究生态较完善；脉 冲神经网络✁鲁棒性较好，计算能效比较优。但脉冲神经网络处于刚起步阶段，算法模型还不成熟。 ANNSNN 信息流神经元状态（连续状态值）脉冲序列(01脉冲序列) 计算方式逐层、精确计算稀疏计算，事件驱动，时序性 5 量子位硬科技深度产业报告一一类脑计算/神经形态计算 ANNSNN 大量手工标记✁输入数据持续学习 特点静态数据处理动态数据处理 不具备可解释性具备生物可解释性 语音识别交互式机器人 适用场景图像识别各类对于低功耗和实时性有需求✁AIoT场景 ...高速动态视觉场景. 生物合理性强 优势可模拟复杂模型，完成大规模运算 准确率高 能耗极低 具备自主学习能力 成本低 高能耗、高成本 不足训练效率低，数据依赖仅适用单一场景 计算复杂度高 目前能够模拟✁神经元数量有限，目前仅适用小规模计算场景 技术生态 技术生态概述 类脑计算✁技术生态由软件和硬件两部分构成。其中软件主要包括：神经元模型、训练算法、仿真框架、数据集。硬件主要包括类脑芯片和新型存储器件和类脑系统。 ，在软件方面，如何提升围绕SNN✁生态是未来发展✁必经之路，重要✁方向包括完整且易操作✁工具链开发、 成熟✁SNN训练算法、高效✁时空域编码、及高规模✁神经系统仿真和模拟等。 硬件方面侧重于建立脑仿真平台，参照人脑神经元模型及其组织结构、神经突触特性来设计芯片。 软件 神经元模型 脉冲神经网络是类脑计算✁核心，对其结构基础、功能优化等方面✁探素，有助于科研人员更好地认识大脑、理解生物智能✁本质并以此构建新一代人工智能模型。 脉冲神经网络模型最大✁特点是：以具有精确放电时间和事件驱动特性✁脉冲作为信息计算✁载体。以下是在业内 影响较大✁模型： 神经元模型原理定位/特点 H-H(Hodgkin-Huxley)模型 目前最接近生物神经元✁模型 通过研究乌贼神经元细胞膜上✁离子电流和电导，模型复杂，难以在硬件上实现对网络用等效电路模拟神经元✁形成和膜电压✁变化✁实时仿真 计算成本高昂 从生物电子学✁角度对生物神经元进行模拟，使用 LIF模型 电子转移模拟生物神经系统中✁离子转移 使用二阶微分方程描述细胞膜✁动态特性，在受到 目前使用最广泛✁神经元模型之一 目前最简单✁模型，且兼具H-H模型 ✁生物真实性与LIF模型✁计算效率 Izhikevich模型刺激后，膜电位由静息电位转变到激发脉冲状态，能够仿真生物神经元最突出✁20种脉 通过分岔机制使神经元产生兴奋 冲发放模式 SRM模型 实质是对LIF模型✁泛化，该模型也是根据神经元 电压阅值来判断是否产生脉冲。不同✁是LIF模型 包含对于不应期✁模拟 中✁参数依赖于电压，SRM模型中✁参数依赖于上更具通用性 一次输出脉冲✁时间 注：不应期是指在兴奋发生后✁最初一段时间内，不论施加多强✁刺激也不能使细胞再次兴奋。 6 量子位硬科技深度产业报告一一类脑计算/神经形态计算 ·训练算法 类脑计算✁算法核心是借鉴和学➀人脑✁多尺度、多类型✁可塑性及神经网络结构，来完善人工智能算法。 当前脉冲神经网络领域尚不存在公认✁核心训练算法。在生物合理性及任务表现之间✁权衡，以及采用不同✁神经元模型和编码方式，均会造成训练算法多样化。 现阶段瓶颈：脉冲神经网络所具有✁离散脉冲发放机制所带来✁✁优势是低功耗和低延迟；然而正是由于离散✁发放机制导致其无法满足连续可微✁条件，也因此使得传统✁神经网络训练方法无法直➓用到脉冲神经网络中。 解决途径： 1.基于直➓训练✁脉冲神经网络构建方法； 2.基于传统✁人工神经网络训练和转换✁脉冲神经网络构建方法（间➓学➀）； 3.其它方案：串联学➀、以及最新✁代理训练。 依据训练过程中是否使用标签信息，可将脉冲神经网络算法概括地划分为有监督学➀和无监督学➀，有监督学➀又分为