An Efficient Spiking Neural Network for Recognizing Gestures with a DVS Camera on the Loihi Neuromor

郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！

IJCNN, pp.1-9, (2020)

Abstract

　　脉冲神经网络(SNN)是第三代神经网络，由于其生物学合理性和与传统人工深度神经网络(DNN)相比降低的复杂性，已成为基于机器学习的应用程序的关注焦点。这些SNN可以在英特尔Loihi研究芯片等神经形态处理器上以极高的能效实现，并由基于事件的传感器(如DVS摄像头)提供数据。然而，多层DNN在图像分类和识别任务上可以达到较高的准确率，因为SNN的学习规则在实际应用中的研究还不成熟。SNN的准确度结果通常是通过将训练的DNN转换为SNN，或者通过在脉冲域中直接设计和训练SNN来获得的。对于从DNN到SNN的转换，我们对专门为英特尔Loihi设计的此类过程进行了全面分析，展示了我们设计SNN的方法，该方法可实现与其相应DNN几乎相同的准确度结果。为了使用基于事件的传感器，我们设计了一种预处理方法，针对DvsGesture数据集进行了评估，这使得它可以在DNN域中使用。因此，基于第一次分析的结果，我们为预处理的DvsGesture数据集训练了一个DNN，并将其转换为脉冲域，以便在英特尔Loihi上进行部署，从而实现实时手势识别。结果表明，我们的SNN达到了89.64%的分类准确率，并且只占用了37个Loihi核。用于生成我们实验的源代码可在线获得，用于可重复的研究。

Index Terms—Machine Learning, Spiking Neural Networks, Gesture Recognition, Event-Based Processing, Neuromorphic Processor, Loihi, Accuracy, Conversion, DVS Camera.

I. INTRODUCTION

II. BACKGROUND AND RELATED WORK

A. Spiking Neural Networks

B. Intel Loihi Neuromorphic Research Chip

C. DNN-to-SNN Conversion

III. A COMPREHENSIVE ANALYSIS ON THE DNN-TO-SNN CONVERSION SETUP

A. Evaluation Metrics for the Conversion Quality

B. Tunable Conversion Parameters

C. DNN Training

D. Conversion Process

E. Experimental Setup

F. Results Varying the DThIR

G. Results Varying the Duration and Reset Mode

H. Results Discussion

IV. PRE-PROCESSING METHODS FOR THE DVSGESTURE DATASET

A. Events Accumulation

B. Time Window Size

C. Events Polarity

D. Frame Size

E. Dataset Structure

V. ACCURACY RESULTS

VI. CONCLUSION