Journal of Computer Science and Technology

   

M-LSM: An Improved Multi-Liquid State Machine for Event-Based Vision Recognition

Lei Wang, Member, CCF, Member ACM, Sha-sha Guo, Lian-hua Qu, Shuo Tian and Wei-xia Xu, Member, CCF   

  1. College of Computer Science and Technology, National University of Defense Technology, Changsha 410073, China

Event-based computation has recently gained increasing research interest for applications of vision recognition due to its intrinsic advantages on efficiency and speed. However, the existing event-based models for vision recognition are faced with several issues, such as large network complexity and expensive training cost. In this paper, we propose an improved multi-liquid state machine (M-LSM) method for high-performance vision recognition. Specifically, we introduce two methods, namely multi-State fusion and multi-liquid search, to optimize the LSM. Multi-state fusion by sampling the liquid state at multiple timesteps could reserve richer spatiotemporal information. We adapt network architecture search (NAS) to find the potential optimal architecture of multi-liquid LSM. We also train the LSM through an unsupervised learning rule spike-timing dependent plasticity (STDP). Our M-LSM is evaluated on two event-based datasets and demonstrates state-of-the-art recognition performance with superior advantages on network complexity and training cost.


中文摘要

1、研究背景(context): 人脑高效率的一个重要原因在于基于事件的计算。受人脑启发的尖峰神经网络(SNN)是一种典型的基于事件的学习算法。SNN中的信息通过稀疏和异步尖峰进行传输,计算在本地和分布式神经元和突触中并行进行。基于事件的传感器,如动态视觉传感器(DVS),与基于帧的传统视觉传感器相比,可以提供更高的动态范围和输出速率。更重要的是,DVS基于事件的信息表示可以减轻下游算法处理庞大信息的负担,提供显著的速度和效率优势。过去结合大规模SNN和DVS的端到端基于事件的手势识别系统取得了高精度,但是往往依赖于拥有超过200000个神经元的大规模网络,面临昂贵训练成本的挑战。而液体状态机(Liquid State Machine,LSM)作为一种SNN,具有网络规模小和训练简单的特点。
2、目的(Objective):准确描述该研究的目的,说明提出问题的缘由,表明研究的范围和重要性。
我们研究发现,即使通过突触可塑性学习规则学习LSM的权重和通过增加神经元数量,传统LSM在NMNIST和IBM手势数据集上的分类精度分别只有87%和83%。而其他基于事件的算法在这两个数据集上报告的最新精度分别达到98%和94%。虽然现有的LSM算法功耗低、复杂度小,但由于精度较低,无法真正应用于基于事件的视觉识别。我们旨在提升LSM在基于事件的视觉识别任务上的精度,使其成为一种具有低复杂度、低训练成本和高精度的方案。
3、方法(Method):简要说明研究课题的基本设计,结论是如何得到的。
在本文中,我们提出了一个改进的液体状态机(M-LSM)方法用于高性能视觉识别。具体来说,在使用突触可塑性规则学习权重的基础上,我们提出了两个规则,即多状态融合和多液体搜索。通过多次液体状态采样实现多状态融合,多个时间步的状态可以保留更丰富的时空信息。我们采用网络体系结构搜索(NAS)寻找多液体LSM的潜在最佳结构。我们的M-LSM在两个基于事件的数据集上进行了评估,并与其他基于SNN的方法进行了比较。我们还进行了交叉验证来评估算法对数据的鲁棒性。最后,我们对不同算法的开销进行了量化分析。
4、结果(Result & Findings):简要列出该研究的主要结果,有什么新发现,说明其价值和局限。叙述要具体、准确,尽量给出量化数据而不只是定性描述,并给出结果的置信值(如果有)。 在NMNIST和IBM DvsGesture上,我们提出的M-LSM可以分别达到97%和92%的分类准确率,这与最先进的准确率相当,并且比现有SNN方法的训练成本更低。
5、结论(Conclusions):简要地说明经验,论证取得的正确观点及理论价值或应用价值,是否还有与此有关的其它问题有待进一步研究,是否可推广应用,其应用价值如何?
本文提出了一种基于LSM的事件视觉识别方法并提出了两种改进性能的方法,即多状态融合和多液体搜索。改进后的M-LSM可以在两个DVS数据集上实现与过去的工作相当的分类精度。综合比较研究表明,我们提出的M-LSM算法能够以更小的网络复杂度和更低的训练成本优于其他基于事件的算法。
本研究为基于事件的视觉识别提供了一个具有竞争力的解决方案,尤其是在功率受限的场景中。该方案网络复杂度小,训练成本低,在执行视觉识别任务时可以节约能源和资源,有利于人工智能和环境保护的应用。最后,我们没有要披露的负面潜在道德影响。



Key words: Liquid State Machine, Bio-inspired Learning, Classification, Event-based Vision

;

No related articles found!
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
[1] Zhou Di;. A Recovery Technique for Distributed Communicating Process Systems[J]. , 1986, 1(2): 34 -43 .
[2] Li Wei;. A Structural Operational Semantics for an Edison Like Language(2)[J]. , 1986, 1(2): 42 -53 .
[3] Li Wanxue;. Almost Optimal Dynamic 2-3 Trees[J]. , 1986, 1(2): 60 -71 .
[4] Feng Yulin;. Recursive Implementation of VLSI Circuits[J]. , 1986, 1(2): 72 -82 .
[5] C.Y.Chung; H.R.Hwa;. A Chinese Information Processing System[J]. , 1986, 1(2): 15 -24 .
[6] Gao Qingshi; Zhang Xiang; Yang Shufan; Chen Shuqing;. Vector Computer 757[J]. , 1986, 1(3): 1 -14 .
[7] Jin Lan; Yang Yuanyuan;. A Modified Version of Chordal Ring[J]. , 1986, 1(3): 15 -32 .
[8] Wu Enhua;. A Graphics System Distributed across a Local Area Network[J]. , 1986, 1(3): 53 -64 .
[9] Zhang Cui; Zhao Qinping; Xu Jiafu;. Kernel Language KLND[J]. , 1986, 1(3): 65 -79 .
[10] Qu Yanwen;. AGDL: A Definition Language for Attribute Grammars[J]. , 1986, 1(3): 80 -91 .

ISSN 1000-9000(Print)

         1860-4749(Online)
CN 11-2296/TP

Home
Editorial Board
Author Guidelines
Subscription
Journal of Computer Science and Technology
Institute of Computing Technology, Chinese Academy of Sciences
P.O. Box 2704, Beijing 100190 P.R. China
Tel.:86-10-62610746
E-mail: jcst@ict.ac.cn
 
  Copyright ©2015 JCST, All Rights Reserved