
本发明提供的一种数字神经形态计算处理器及计算方法,该处理器通过数据包路由模块、数据缓存模块、突触连接存储模块和神经元计算模块,获取神经网络输入数据,以确定神经网络输入数据的神经网络类型,接着,根据预先存储的神经网络突触权重值以及神经元参数,对输入的脉冲神经网络脉冲信号或者人工神经网络激活值进行运算,并根据神经网络类型输出运算结果。现有的基于模型转换方法的计算处理器需要进行模型算法转换,导致出现明显的精度损失。而本发明既可以应用于脉冲神经网络,也可以应用于人工神经网络,并且无需进行模型算法转换,避
(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 116663627 A (43)申请公布日 2023.08.29 (21)申请号 3.X (22)申请日 2023.04.17 (71)申请人 北京大学 地址 100871 北京市海淀区颐和园路5号 (72)发明人 王源王梓霖钟毅崔小欣 (74)专利代理机构 北京路浩知识产权代理有限 公司 11002 专利代理师 乔慧 (51)Int.Cl. G06N 3/063 (2023.01) G06N 3/06 (2006.01) G06N 3/049 (2023.01) G06F 15/78 (2006.01) 权利要求书2页 说明书9页 附图4页 (54)发明名称 数字神经形态计算处理器及计算方法 (57)摘要 本发明提供的一种数字神经形态计算处理 器及计算方法,该处理器通过数据包路由模块、 数据缓存模块、突触连接存储模块和神经元计算 模块,获取神经网络输入数据,以确定神经网络 输入数据的神经网络类型,接着,根据预先存储 的神经网络突触权重值以及神经元参数,对输入 的脉冲神经网络脉冲信号或者人工神经网络激 活值进行运算,并根据神经网络类型输出运算结 果。现有的基于模型转换方法的计算处理器需要 进行模型算法转换,导致出现明显的精度损失。 而本发明既可以应用于脉冲神经网络,也可以应 用于人工神经网络,并且无需进行模型算法转 A 换,避免了模型转换过程中的精度损失。 7 2 6 3 6 6 6 1 1 N C CN 116663627 A 权利要求书 1/2页 1.一种数字神经形态计算处理器,其特征在于,包括依次连接的数据包路由模块、数据 缓存模块、突触连接存储模块和神经元计算模块; 所述数据包路由模块,用于获取神经网络输入数据,并将所述神经网络输入数据发送 至所述数据缓存模块; 所述数据缓存模块,用于根据神经网络类型,对所述神经网络输入数据进行解码,以获 得待处理数据,所述待处理数据包括脉冲神经网络脉冲信号或者人工神经网络激活值; 所述突触连接存储模块,用于存储神经网络突触权重值以及神经元参数; 所述神经元计算模块,用于根据预先存储的神经网络突触权重值以及神经元参数,对 所述待处理数据进行运算,并根据神经网络类型输出运算结果。 2.根据权利要求1所述的数字神经形态计算处理器,其特征在于,还包括外围存储接口 模块; 所述外围存储接口模块,用于获取片外存储数据,并根据所述片外存储数据更新所述 突触连接存储模块中的所述神经网络突触权重值和所述神经元参数。 3.根据权利要求1所述的数字神经形态计算处理器,其特征在于,所述数据包路由模 块,还用于将所述运算结果编码为AER协议数据包,所述AER协议数据包包括目标发送地址、 目标轴突地址、时间步长信息、脉冲信号或者激活值。 4.根据权利要求1所述的数字神经形态计算处理器,其特征在于,所述突触连接存储模 块由静态随机存取存储器和存储控制器构成; 每两个静态随机存取存储器组成乒乓缓存结构,用于存储所述神经网络突触权重值以 及所述神经元参数; 所述存储控制器,用于调度所述神经网络突触权重值以及所述神经元参数。 5.根据权利要求1所述的数字神经形态计算处理器,其特征在于,所述根据神经网络类 型,对所述神经网络输入数据进行解码,以获得待处理数据,包括: 当所述神经网络类型为脉冲神经网络,则将所述神经网络输入数据解码为所述脉冲神 经网络脉冲信号归分到所属的生物周期,并将所述生物周期对应的神经网络脉冲信号输入 至所述神经元计算模块; 当所述神经网络类型为人工神经网络,则将所述神经网络输入数据解码为所述人工神 经网络激活值并输入至所述神经元计算模块。 6.根据权利要求1所述的数字神经形态计算处理器,其特征在于,所述神经元计算模块 由树形加法器、积分单元和脉冲发射单元构成; 所述树形加法器,用于根据预先存储的神经网络突触权重值以及神经元参数,对所述 神经网络输入数据进行加权求和; 所述积分单元,用于将所述树形加法器的计算结果积分到膜电位上,并将积分后的膜 电位输出至所述脉冲发射单元; 所述脉冲发射单元,用于根据预先设置的脉冲发放阈值,与积分后的膜电位进行比较, 并根据比较结果生成脉冲信号。 7.根据权利要求6所述的数字神经形态计算处理器,其特征在于,所述神经元计算模块 还包括泄露单元; 所述泄露单元,用于对所述膜电位进行泄露操作,所述泄露操作包括正向泄露和反向 2 2 CN 116663627 A 权利要求书 2/2页 泄露。 8.根据权利要求7所述的数字神经形态计算处理器,其特征在于,所述神经元计算模块 还包括阈值移位寄存器; 所述阈值移位寄存器,用于将经过所述积分单元积分后的膜电位转换成激活值输出。 9.一种用于神经网络的计算方法,其特征在于,包括: 获取神经网络输入数据,以确定所述神经网络输入数据的神经网络类型; 根据预先存储的神经网络突触权重值以及神经元参数,对输入的待处理数据进行运 算,并根据所述神经网络类型输出运算结果; 所述待处理数据是通过对神经网络输入数据解码获得的。 10.根据权利要求9所述的用于神经网络的计算方法,其特征在于,还包括更新所述神 经网络突触权重值以及所述神经元参数,具体为: 获取片外存储数据; 根据所述片外存储数据更新所述神经网络突触权重值和所述神经元参数。 3 3 CN 116663627 A 说明书 1/9页 数字神经形态计算处理器及计算方法 技术领域 [0001] 本发明涉及微处理器技术领域,尤其涉及一种数字神经形态计算处理器及计算方 法。 背景技术 [0002] 目前发展人工智能的研究上分化出两条并行的方向:计算科学导向的人工神经网 络和神经科学导向的脉冲神经网络。人工神经网络往往忽略掉神经科学中的底层细节,专 注于在实际任务中提高准确率。脉冲从生物学神经元结构中得到启发,探索与大脑运行方 式更相近的神经形态计算。近年来两类神经网络的研究开始出现交叉的趋势,包括二者之 间的相互借鉴、转换与结合,近年来针对两类神经网络分别已提出了基于FPGA、ASIC和RRAM 等新型器件的深度神经网络加速器与神经形态处理器两类专用硬件,然而两类硬件并不能 很好地实现兼容。 [0003] 现有技术中,采用单一的专用硬件作为通用平台,由于两类网络有明显差别,难以 实现对两类网络的兼容,从而导致推理准确率和速度能效等性能下降。 发明内容 [0004] 本发明提供一种数字神经形态计算处理器及计算方法,用以解决现有技术中无法 兼容两种神经网络的缺陷。 [0005] 本发明提供一种数字神经形态计算处理器,包括依次连接的数据包路由模块、数 据缓存模块、突触连接存储模块和神经元计算模块; [0006] 所述数据包路由模块,用于获取神经网络输入数据,并将所述神经网络输入数据 发送至所述数据缓存模块; [0007] 所述数据缓存模块,用于根据神经网络类型,对所述神经网络输入数据进行解码, 以获得待处理数据,所述待处理数据包括脉冲神经网络脉冲信号或者人工神经网络激活 值; [0008] 所述突触连接存储模块,用于存储神经网络突触权重值以及神经元参数; [0009] 所述神经元计算模块,用于根据预先存储的神经网络突触权重值以及神经元参 数,对所述待处理数据进行运算,并根据神经网络类型输出运算结果。 [0010] 根据本发明提供的一种数字神经形态计算处理器,还包括外围存储接口模块; [0011] 所述外围存储接口模块,用于获取片外存储数据,并根据所述片外存储数据更新 所述突触连接存储模块中的所述神经网络突触权重值和所述神经元参数。 [0012] 根据本发明提供的一种数字神经形态计算处理器,所述数据包路由模块,还用于 将所述运算结果编码为AER协议数据包,所述AER协议数据包包括目标发送地址、目标轴突 地址、时间步长信息、脉冲信号或者激活值。 [0013] 根据本发明提供的一种数字神经形态计算处理器,所述突触连接存储模块由静态 随机存取存储器和存储控制器构成; 4 4 CN 116663627 A 说明书 2/9页 [0014] 每两个静态随机存取存储器组成乒乓缓存结构,用于存储所述神经网络突触权重 值以及所述神经元参数; [0015] 所述存储控制器,用于调度所述神经网络突触权重值以及所述神经元参数。 [0016] 根据本发明提供的一种数字神经形态计算处理器,所述根据神经网络类型,对所 述神经网络输入数据进行解码,以获得待处理数据,包括: [0017] 当所述神经网络类型为脉冲神经网络,则将所述神经网络输入数据解码为所述脉 冲神经网络脉冲信号归分到所属的生物周期,并将所述生物周期对应的神经网络脉冲信号 输入至所述神经元计算模块; [0018] 当所述神经网络类型为人工神经网络,则将所述神经网络输入数据解码为所述人 工神经网络激活值并输入至所述神经元计算模块。 [0019] 根据本发明提供的一种数字神经形态计算处理器,所述神经元计算模块由树形加 法器、积分单元和脉冲发射单元构成; [0020] 所述树形加法器,用于根据预先存储的神经网络突触权重值以及神经元参数,对 所述神经网络输入数据进行加权求和; [0021] 所述积分单元,用于将所述树形加法器的计算结果积分到膜电位上,并将积分后 的膜电位输出至所述脉冲发射单元; [0022] 所述脉冲发射单元,用于根据预先设置的脉冲发放阈值,与积分后的膜电位进行 比较,并根据比较结果生成脉冲信号。 [0023] 根据本发明提供的一种数字神经形态计算处理器,所述神经元计算模块还包括泄 露单元; [0024] 所述泄露单元,用于对所述膜电位进行泄露操作,所述泄露操作包括正向泄露和 反向泄露。 [0025] 根据本发明提供的一种数字神经形态计算处理器,所述神经元计算模块还包括阈 值移位寄存器; [0026] 所述阈值移位寄存器,用于将经过所述积分单元积分后的膜电位转换成激活值输 出。 [0027] 本发明还提供一种用于神经网络的计算方法,包括: [0028] 获取神经网络输入数据,以确定所述神经网络输入数据的神经网络类型; [0029] 根据预先存储的神经网络突触权重值以及神经元参数,对输入的待处理数据进行 运算,并根据所述神经网络类型输出运算结果; [0030] 所述待处理数据是通过对神经网络输入数据解码获得的。 [0031] 根据本发明提供的一种用于神经网络的计算方法,还包括更新所述神经网络突触 权重值以及所述神经元参数,具体为: [0032] 获取片外存储数据; [0033] 根据所述片外存储数据更新所述神经网络突触权重值和所述神经元参数。 [0034] 本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理 器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述用于神经网络 的计算方法方法。 [0035] 本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算 5 5 CN 116663627 A 说明书 3/9页 机程序被处理器执行时实现如上述任一种所述用于神经网络的计算方法方法。 [0036] 本发明提供的一种数字神经形态计算处理器及计算方法,该处理器通过数据包路 由模块、数据缓存模块、突触连接存储模块和神经元计算模块,获取神经网络输入数据,以 确定神经网络输入数据的神经网络类型,接着,根据预先存储的神经网络突触权重值以及 神经元参数,对输入的脉冲神经网络脉冲信号或者人工神经网络激活值进行运算,并根据 神经网络类型输出运算结果。现有的基于模型转换方法的计算处理器需要进行模型算法转 换,导致出现明显的精度损失。而本发明既可以应用于脉冲神经网络,也可以应用于人工神 经网络,并且无需进行模型算法转换,避免了模型转换过程中的精度损失。 附图说明 [0037] 为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术 描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一 些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些 附图获得其他的附图。 [0038] 图1是本发明提供的数字神经形态计算处理器装置的结构示意图; [0039] 图2是本发明提供的神经元计算模块的结构示意图; [0040] 图3是本发明提供的ReLU激活函数的实现方式示意图; [0041] 图4是本发明提供的权值精度‑扇出权衡的流程示意图; [0042] 图5是本发明提供的扇入‑扇出权衡的流程示意图; [0043] 图6是本发明提供的用于神经网络的计算方法的流程示意图; [0044] 图7是本发明提供的电子设备的结构示意图。 具体实施方式 [0045] 为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本 发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例, 而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳 动前提下所获得的所有其他实施例,都属于本发明保护的范围。 [0046] 目前发展人工智能的研究上分化出两条并行的方向:计算科学导向的人工神经网 络和神经科学导向的脉冲神经网络。人工神经网络往往忽略掉神经科学中的底层细节,专 注于在实际任务中提高准确率。脉冲从生物学神经元结构中得到启发,探索与大脑运行方 式更相近的神经形态计算。近年来两类神经网络的研究开始出现交叉的趋势,包括二者之 间的相互借鉴、转换与结合,近年来针对两类神经网络分别已提出了基于FPGA、ASIC和RRAM 等新型器件的深度神经网络加速器与神经形态处理器两类专用硬件,然而两类硬件并不能 很好地兼容对方所擅长的网络模型。 [0047] 为了解决现有技术存在的问题,本发明提供一种数字神经形态计算处理器,包括 依次连接的数据包路由模块110、数据缓存模块120、突触连接存储模块130和神经元计算模 块140; [0048] 所述数据包路由模块110,用于获取神经网络输入数据,并将所述神经网络输入数 据发送至所述数据缓存模块。 6 6 CN 116663627 A 说明书 4/9页 [0049] 所述数据缓存模块120,用于根据神经网络类型,对所述神经网络输入数据进行解 码,以获得待处理数据。 [0050] 所述突触连接存储模块130,用于存储神经网络突触权重值以及神经元参数。 [0051] 所述神经元计算模块140,用于根据预先存储的神经网络突触权重值以及神经元 参数,对所述待处理数据进行运算,并根据神经网络类型输出运算结果。 [0052] 具体地,参照图1,数据包路由模块110作为该计算处理器的主要通信模块。数据包 路由模块110一方面接收东南西北四个方向输入的数据包,另一方面把本地神经元计算模 块的输出编码为数据包,并把该数据包发送至对应的地址,实现神经元间的通信。数据包路 由模块可以实现片级网络的一对多广播路由,并且通过芯片间的接口互连可以实现片级的 网络规模扩展。 [0053] 数据缓存模块120用于对数据包路由模块110获取到的神经网络输入数据进行解 码。具体地,数据缓存模块120可以根据不同的网络类型对输入数据进行时空解码:在应用 脉冲神经网络时,数据缓存模块将脉冲归分到所属的生物周期,并在每一次生物周期计数 触发时将所包含的脉冲输入到神经元计算模块;在应用人工神经网络时,数据缓存模块将 神经网络输入数据解码为人工神经网络激活值并输入到神经元计算模块。 [0054] 突触连接存储模块130,用于存储神经网络突触权重值以及神经元参数。突触连接 存储模块是一种用于神经网络芯片中的电路单元,用于实现神经元之间的连接。在神经网 络中,神经元之间的连接通常是通过突触实现的。突触连接存储模块实现了高效、可重构的 突触连接,从而支持复杂的神经网络计算。 [0055] 神经元计算模块140,用于根据预先存储的神经网络突触权重值以及神经元参数, 对待处理数据进行运算,并根据神经网络类型输出运算结果。神经元计算模块140作为该计 算处理器的主要运算模块,可以通过设置加法器、泄露单元、积分器以及脉冲发射单元的方 式实现。具体地,通过加法器实现输入与突触权重的与门输出累加,泄漏单元可以实现随机 或确定的正向泄漏和反向泄漏,以实现膜电位向0收敛或发散,而积分模块将加法器的累加 结果积分到膜电位上,最后脉冲发射单元根据膜电位与阈值电位的关系进行脉冲输出。 [0056] 通过神经元计算模块140,可以实现脉冲神经网络算法和人工神经网络算法。 [0057] 脉冲神经网络算法如下: [0058] V (t+1)=V (t)+∑xw ‑λ j j i ij j [0059] 其中V (t)为神经元j在t时刻的膜电位,w 为突触前神经元i和突触后神经元j的 j ij 突触连接权值,x为突触前神经元i的输出,λ为神经元j的线] 人工神经网络算法如下: [0061] y =f(∑xw +b) j i ij j [0062] 其中y 为激活值输出,x为激活值输入,w 为权值,b为偏差值,f(x)为ReLU型激活 j i ij j 函数。 [0063] 本发明提供的一种数字神经形态计算处理器及计算方法,该处理器通过数据包路 由模块、数据缓存模块、突触连接存储模块和神经元计算模块,获取神经网络输入数据,以 确定神经网络输入数据的神经网络类型,接着,根据预先存储的神经网络突触权重值以及 神经元参数,对输入的脉冲神经网络脉冲信号或者人工神经网络激活值进行运算,并根据 神经网络类型输出运算结果。现有的基于模型转换方法的计算处理器需要进行模型算法转 7 7 CN 116663627 A 说明书 5/9页 换,导致出现明显的精度损失。而本发明既可以应用于脉冲神经网络,也可以应用于人工神 经网络,并且无需进行模型算法转换,避免了模型转换过程中的精度损失。 [0064] 作为进一步可选的实施例,还包括外围存储接口模块; [0065] 所述外围存储接口模块150,用于获取片外存储数据,并根据所述片外存储数据更 新所述突触连接存储模块中的所述神经网络突触权重值和所述神经元参数。 [0066] 外围存储接口模块150负责读取外部存储的DMA,可以配合突触连接存储模块130 的乒乓缓存结构,在其中一块片上SRAM读写工作时,向另一块片上SRAM写入数据以更新权 值和神经元参数。外围存储接口模块150可以解决片上参数量存储限制的问题,以实现更大 的网络结构。 [0067] 作为进一步可选的实施例,所述数据包路由模块,还用于将所述运算结果编码为 AER协议数据包,所述AER协议数据包包括目标发送地址、目标轴突地址、时间步长信息、脉 冲信号或者激活值。 [0068] AER(Address‑Event Representation)协议是一种用于神经元芯片通信的协议, 它使用事件驱动的方式来传输信息。在AER协议中,每个神经元都被分配一个唯一的地址, 并使用地址来标识神经元发送和接收的事件。AER协议中的数据包通常由两个部分组成:地 址和事件类型。 [0069] 地址部分包含发送和接收神经元的唯一标识符,通常是一个数字。事件类型部分 描述了发生的事件类型,例如脉冲的有或者无。这种事件驱动的通信方式可以使神经元芯 片在高速并行计算中进行高效的信息交换。 [0070] AER协议的优点之一是可以实现异步通信,即不需要时钟信号来同步发送和接收 数据。本实施例通过采用AER协议进行传输可以减少通信延迟,并且使得多个神经元可以同 时进行通信,从而提高了神经元芯片的计算效率。 [0071] 作为进一步可选的实施例,所述突触连接存储模块由静态随机存取存储器和存储 控制器构成; [0072] 每两个静态随机存取存储器组成乒乓缓存结构,用于存储所述神经网络突触权重 值以及所述神经元参数; [0073] 所述存储控制器,用于调度所述神经网络突触权重值以及所述神经元参数。 [0074] 本实施例中,突触连接存储模块的设计和实现依赖于特定的神经网络算法和芯片 架构。具体地,可以通过设置2组1024×1390比特的静态随机存取存储器(SRAM)组成乒乓缓 存结构,以存储1024×1152比特的全连接交叉开关矩阵结构的突触连接权重与1024×238 比特的神经元参数;再设置存储控制器,以负责调度与读写SRAM参数。 [0075] 突触连接存储模块是神经网络芯片中非常重要的电路单元之一,它对神经网络的 计算性能和能耗有着重要的影响。随着人工智能技术的不断发展,神经网络芯片的需求也 在不断增加,突触连接存储模块的设计和实现也在不断优化和改进,为神经网络计算提供 了强大的支持。 [0076] 作为进一步可选的实施例,所述根据神经网络类型,对所述神经网络输入数据进 行解码,以获得待处理数据,包括: [0077] 当所述神经网络类型为脉冲神经网络,则将所述神经网络输入数据解码为所述脉 冲神经网络脉冲信号归分到所属的生物周期,并将所述生物周期对应的神经网络脉冲信号 8 8 CN 116663627 A 说明书 6/9页 输入至所述神经元计算模块; [0078] 当所述神经网络类型为人工神经网络,则将所述神经网络输入数据解码为所述人 工神经网络激活值并输入至所述神经元计算模块。 [0079] 本实施例中,当AER数据包传输到神经元电路的接收端时,数据缓存模块可以帮助 将这些数据包缓冲和存储到适当的位置。然后,通过数据缓存模块中的解码器等电路对这 些数据包进行解码和分析,从而获取神经信号的相关信息。具体地,在不同的神经网络类型 中,数据缓存模块可以根据不同的时空解码方式对脉冲进行处理和解码。在应用脉冲神经 网络时,数据缓存模块将脉冲归分到所属的生物周期,并在每一次生物周期计数触发时将 所包含的脉冲输入到神经元计算模块。这种时空解码方式可以帮助实现对神经元信息传递 的模拟和模拟生物神经网络的特征。在应用人工神经网络时,数据缓存模块将1比特的脉冲 信号整合为高精度的整数,并输入到神经元计算模块。这种时空解码方式可以帮助实现对 人工神经网络的高效计算和精度控制。 [0080] 作为进一步可选的实施例,所述神经元计算模块由树形加法器、积分单元和脉冲 发射单元构成; [0081] 所述树形加法器,用于根据预先存储的神经网络突触权重值以及神经元参数,对 所述神经网络输入数据进行加权求和; [0082] 所述积分单元,用于将所述树形加法器的计算结果积分到膜电位上,并将积分后 的膜电位输出至所述脉冲发射单元; [0083] 所述脉冲发射单元,用于根据预先设置的脉冲发放阈值,与积分后的膜电位进行 比较,并根据比较结果生成脉冲信号。 [0084] 参考图2,神经元计算模块是神经元电路中的一个重要部分,用于对脉冲信号进行 处理和计算。加法器是神经元计算模块的核心部分,用于将神经元接收到的多个输入脉冲 信号相加,得到神经元的总输入电流值。通常,加法器可以通过电流分配器将输入电流进行 加权,以实现不同输入信号的权重调节。积分器用于对神经元的总输入电流进行积分,得到 神经元的膜电位值。脉冲发射单元用于检测神经元膜电位是否超过了阈值,并在超过阈值 时产生一个输出脉冲。通常,脉冲发射单元可以通过比较器来实现神经元膜电位和阈值之 间的比较,以决定是否发生脉冲输出。同时,发射单元还可以通过递增器来实现膜电位的重 置,以模拟神经元脉冲输出后的电位变化。 [0085] 优选地,加法器可以采用稀疏优化加法器树单元(Sparse Optimized Adder Tree Cell),这是一种针对稀疏数据优化的树形加法器单元。在传统的树形加法器中,所有输入 位都要参与运算,即使有些位为0。这样会浪费很多计算资源。而稀疏优化加法器树单元则 利用输入数据的稀疏性质,在计算时仅考虑非零输入位,从而减少运算次数和功耗消耗。 [0086] 稀疏优化加法器树单元可以通过两个主要的优化方式实现:部分和计算和动态控 制。部分和计算是指将输入数据分为两部分,一部分是稠密的,即大部分输入位为1,另一部 分是稀疏的,即只有少数输入位为1。稠密的输入位可以直接计算,而稀疏的输入位可以通 过动态控制的方式来减少计算次数。动态控制是指根据输入数据的特点,在计算过程中选 择合适的路径来减少计算次数。这种方法可以根据输入数据的变化实时调整计算路径,从 而提高运算效率。 [0087] 作为进一步可选的实施例,所述神经元计算模块还包括泄露单元; 9 9 CN 116663627 A 说明书 7/9页 [0088] 所述泄露单元,用于对所述膜电位进行泄露操作,所述泄露操作包括正向泄露和 反向泄露。 [0089] 参考图2,在本实施例中,泄露单元可以实现随机的或确定的正向泄漏和反向泄 漏,可以实现膜电位向0收敛或发散。反映到脉冲神经网络算法中就是泄露单元产生了λ,λ j j 为神经元j的线性泄漏。而反映到人工神经网络算法中就是泄露单元产生了b ,b为偏差值。 j j [0090] 作为进一步可选的实施例,所述神经元计算模块还包括阈值移位寄存器; [0091] 所述阈值移位寄存器,用于将经过所述积分单元积分后的膜电位转换成激活值输 出。 [0092] 本实施例中,通过设置阈值移位寄存器,可以实现ReLU激活函数。如图3所示,当电 路设置为ReLU输出时,膜电位首先与初始阈值比较,如果膜电位超过初始阈值,则发射脉冲 并且从膜电位中减去阈值,否则膜电位保持原值;一次比较后,初始阈值向右移1位,再次与 右移1位后的膜电位进行比较,如此重复直到达到所设定的精度。如图5右所示,等效的量化 输出为: [0093] [0094] 其中,y为膜电位的等效量化输出,V 为初始阈值,V(t)为当前的膜电位。 i th [0095] 下面对本发明数字神经形态计算处理器的应用场景进行描述。 [0096] 如图4所示,本发明数字神经形态计算处理器可以用于权值精度‑扇出权衡方法。 [0097] 本发明采用的全连接交叉开关矩阵结构的突触权值为1比特,但可以通过组合树 突来实现高精度权值。如图4,以M=8为例,举例了在人工神经网络模式下的高精度权值实 现方法。每M个子树突分为一组作为一个完整树突,每个子树突的膜电位累加完毕后进行加 权再累加在一起得到完整神经元的膜电位,随后再进行神经元的其他运算,因此等效为1个 M比特精度树突的膜电位累加,M的最大取值为8,即可以实现1~8比特任意精度的权值。相 应地,每M个子树突组合后,电路的总扇出数量会减小到1024/M。图4展示了树突组合实现高 精度权值的方法使用在人工神经网络模型的应用中,但这一方法也可以同样使用在脉冲神 经网络模型的应用中。树突组合方法不需要实现高位宽的权值运算电路即可支持高精度权 值模型,提升了电路的能效和面积效率,是一种灵活的权值精度‑扇出权衡方法。 [0098] 如图5所示,本发明数字神经形态计算处理器可以用于扇入‑扇出权衡方法。 [0099] 本实施例采用1024×1152比特全连接交叉开关矩阵结构突触连接,在常规情况下 其最大扇入为1152。在实现更大神经网络时,可以通过组合树突来扩展扇入。如图5,以M= 4、P=2为例,每M个子树突组合为完整树突后,在此基础上将P个完整树突组合为1个扩展树 突,同时数据缓存模块划分输入为P组,每个扩展树突的第i个完整树突包含的子树突会接 收来自第i组输入的脉冲数据,累加计算得到膜电位的中间结果,再将P个完整树突的膜电 位中间结果累加在一起,得到最终的膜电位数值,再经过神经元的泄漏比较等操作。因此单 个扩展树突所接收的扇入可以扩展到P×1152,P的取值范围为1~64,即扇入最大可以扩展 到64×1152=72K。相应地,电路的总扇出数量会减小到1024/(M×P)。图5展示了树突组合 实现扇入扩展的方法使用在人工神经网络模型的应用中,但这一方法也可以使用在脉冲神 经网络模型的应用中。树突组合方法不需要直接增加全连接交叉开关矩阵结构的轴突输入 数目即可支持高扇入的神经网络模型,降低了对电路的面积要求,是一种灵活的扇入‑扇出 10 10 CN 116663627 A 说明书 8/9页 权衡方法。 [0100] 下面对本发明提供的用于神经网络的计算方法进行描述,参考图6,下文描述的用 于神经网络的计算方法与上文描述的数字神经形态计算处理器可相互对应参照。 [0101] 步骤610、获取神经网络输入数据,以确定所述神经网络输入数据的神经网络类 型; [0102] 步骤620、根据预先存储的神经网络突触权重值以及神经元参数,对输入的待处理 数据进行运算,并根据所述神经网络类型输出运算结果; [0103] 所述对输入的待处理数据是通过对神经网络输入数据解码获得的。 [0104] 作为一种进一步可选的实施例,还包括获取所述神经网络突触权重值,具体为: [0105] 获取片外存储数据; [0106] 根据所述片外存储数据更新所述神经网络突触权重值和所述神经元参数。 [0107] 图7示例了一种电子设备的实体结构示意图,如图7所示,该电子设备可以包括:处 理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和 通信总线通过通信总线完成相互间的通 信。处理器710可以调用存储器730中的逻辑指令,以执行用于神经网络的计算方法,该方法 包括: [0108] 获取神经网络输入数据,以确定所述神经网络输入数据的神经网络类型; [0109] 根据预先存储的神经网络突触权重值以及神经元参数,对输入的待处理数据进行 运算,并根据所述神经网络类型输出运算结果; [0110] 所述输入的待处理数据是通过对神经网络输入数据解码获得的。 [0111] 此外,上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为 独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本 发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以 软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以 使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施 例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM, Read‑Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种 可以存储程序代码的介质。 [0112] 另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机 程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行 时,计算机能够执行上述各方法所提供的用于神经网络的计算方法,该方法包括: [0113] 获取神经网络输入数据,以确定所述神经网络输入数据的神经网络类型; [0114] 根据预先存储的神经网络突触权重值以及神经元参数,对输入的待处理数据进行 运算,并根据所述神经网络类型输出运算结果; [0115] 所述待处理数据是通过对神经网络输入数据解码获得的。 [0116] 又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程 序,该计算机程序被处理器执行时实现以执行上述各方法提供的用于神经网络的计算方 法,该方法包括: [0117] 获取神经网络输入数据,以确定所述神经网络输入数据的神经网络类型; 11 11 CN 116663627 A 说明书 9/9页 [0118] 根据预先存储的神经网络突触权重值以及神经元参数,对输入的待处理数据进行 运算,并根据所述神经网络类型输出运算结果; [0119] 所述待处理数据是通过对神经网络输入数据解码获得的。 [0120] 以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可 以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单 元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其 中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性 的劳动的情况下,即可以理解并实施。 [0121] 通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可 借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上 述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该 计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指 令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施 例或者实施例的某些部分所述的方法。 [0122] 最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管 参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可 以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换; 而这些修改或者替换,并不使相应技术方案的本质脱离本Kaiyun官方入口发明各实施例技术方案的精神和 范围。 12 12 CN 116663627 A 说明书附图 1/4页 图1 图2 13 13 CN 116663627 A 说明书附图 2/4页 图3 图4 14 14 CN 116663627 A 说明书附图 3/4页 图5 图6 15 15 CN 116663627 A 说明书附图 4/4页 图7 16 16
2、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问加。
3、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互Kaiyun官方入口通、版权登记。
4、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
11.多姿多彩的民间艺术(第一课时)课件 2025道德与法治四年级下册.pptx
2026年湖南有色新田岭钨业有限公司招聘备考题库及答案详解参考.docx
2026年湖南有色新田岭钨业有限公司招聘备考题库及答案详解1套.docx
2026年湖南有色新田岭钨业有限公司招聘备考题库及完整答案详解一套.docx
结构化学__南开大学(8)--结构化学期末考试试卷及答案-2025 .pdf
沃森(VicRuns)VD120A-GS系列变频器说明书用户手册.doc
2026届湖北省孝感市普通高中联考协作体物理高三上期末考试试题含解析.doc
原创力文档创建于2008年,本站为文档C2C交易模式,即用户上传的文档直接分享给其他用户(可下载、阅读),本站只是中间服务平台,本站所有文档下载所得的收益归上传人所有。原创力文档是网络服务平台方,若您的权利被侵害,请发链接和相关诉求至 电线) ,上传者