We use cookies to improve your experience with our site.

在忆阻器中基于模式表示法的二值神经网络权重映射法

Area Efficient Pattern Representation of Binary Neural Networks on RRAM

  • 摘要: 1、研究背景(context)。
    近年来,一些工作利用忆阻器实现并行的乘累加运算,并进而用其加速卷积神经网络中的全连接层和卷积层。由于卷积神经网络需要大量数模转换器,又有一些工作开始尝试用忆阻器加速二值神经网络。二值神经网络中的权重为-1和+1,对数模转换需求较小。然而,主流的两种二值神经网络权重表示方法在表示负权时都引入了许多冗余的0和1。
    2、目的(Objective):准确描述该研究的目的,说明提出问题的缘由,表明研究的范围和重要性。
    在本工作中,我们希望减少冗余的0和1,节省阵列面积。为此,我们希望使用一种新的基于模式的权重表示方法,并设计相应的硬件架构。
    3、方法(Method):简要说明研究课题的基本设计,结论是如何得到的。
    首先,我们通过最近邻算法将权重矩阵分成若干小矩阵。然后,我们从各个小矩阵中提取1的模式,每一权重列都可以用这些模式组合而成。接着,我们将这些模式映射到忆阻器阵列中,模式计算阵列负责计算这些模式的值,模式累加阵列负责累加模式以得到最终输出。最后,我们比较我们的模式表示方法和传统表示方法,选出更省面积的方法。
    4、结果(Result&Findings):简要列出该研究的主要结果,有什么新发现,说明其价值和局限。叙述要具体、准确,尽量给出量化数据而不只是定性描述,并给出结果的置信值(如果有)。
    我们使用MNIST和CIFAR-10中的卷积层和全连接层做了测试。相较于两种主流的权重表示方式,我们的模式表示法在超过70%的测试用例中有效,平均可以节省约20%的面积。
    5、结论(Conclusions):简要地说明经验,论证取得的正确观点及理论价值或应用价值,是否还有与此有关的其它问题有待进一步研究,是否可推广应用,其应用价值如何?
    和传统方法直接映射权重不同,我们的模式表示法先提取模式,再通过模式构造原始输出。实验结果表明这样的方式对于远大于阵列大小的权重矩阵更加有效。由于外围电路占据了绝大部分面积,我们未来会进一步探索如何节省这一部分面积。

     

    Abstract: Resistive random access memory (RRAM) has been demonstrated to implement multiply-and-accumulate (MAC) operations using a highly parallel analog fashion, which dramatically accelerates the convolutional neural networks (CNNs). Since CNNs require considerable converters between analog crossbars and digital peripheral circuits, recent studies map the binary neural networks (BNNs) onto RRAM and binarize the weights to +1, -1. However, two mainstream representations for BNN weights introduce patterns of redundant 0s and 1s when dealing with negative weights. In this work, we reduce the area of redundant 0s and 1s by proposing a BNN weight representation framework based on the novel pattern representation and a corresponding architecture. First, we spilt the weight matrix into several small matrices by clustering adjacent columns together. Second, we extract 1s' patterns, i.e., the submatrices only containing 1s, from the small weight matrix, such that each final output can be represented by the sum of several patterns. Third, we map these patterns onto RRAM crossbars, including pattern computation crossbars (PCCs) and pattern accumulation crossbars (PACs). Finally, we compare the pattern representation with two mainstream representations and adopt the more area efficient one. The evaluation results demonstrate that our framework can save over 20% of crossbar area effectively, compared with two mainstream representations.

     

/

返回文章
返回