Spiking Dynamics Aware Backpropagation in Spiking Neural Networks

Abstract

스파이킹 신경망은 생물학적 두뇌에 대한 이해를 증진하고자, 혹은 인공지능 하드웨어에서의 높은 전력 효율성을 달성하고자 하는 목표 아래 활발히 연구되어 왔 다. 스파이킹 신경망은 스파이크를 통한 뉴런 간의 비동기적 정보 전달 방식을 비 롯한 생물학적 신경망의 주요 특징들을 모방한다. 스파이킹 신경망 연구의 가장 큰 어려움 중 하나는 스파이킹 동역학의 이산적인 특성으로 인해 백프로퍼게이션 알고리즘을 그대로 적용하여 스파이킹 신경망을 학 습시키는 것이 불가능하다는 점이다. 최근 이 문제를 해결하기 위해 스파이크 생성 함수의 참 도함수(true derivatives)를 대리 도함수(surrogate derivatives)로 대체하여 백프로퍼게이션의 적용을 가능하게 하는 대리 그라디언트 방법(surrogate gradient method)이 제안되었다. 그 효과성 및 확장성으로 인해 대리 그라디언트 방법은 스파이킹 신경망 연구에 널리 사용되고 있다. 그러나 기존의 대리 그라디언트 방법을 사용하는 연구들 은 스파이킹 뉴런의 동역학을 적절히 고려하지 않는 방식으로 대리 도함수를 사용 하고 있다. 본 논문에서는 먼저 대리 도함수를 적용하는 이전 방법들의 문제들을 명확히밝히고,그문제들에 대한 해결방안을 제시한다. 그런다음그 해결방안이 적용된 새로운 백프로퍼게이션 알고리즘인 SABP (Spiking Dynamics Aware Backpropagation) 및 SABP+ANTLR를 제안한다. 간단한 실험에서, 파라미터 변화로 인한 스파이킹 뉴런의 활동 변화를 추정할 때 SABP+ANTLR로 계산된 그라디언트를 사용하는 것이 다른 백프로퍼게이션 방법을 사용하는 것에 비해 더 정확한 것으로 나타났다. 하지만 실용적 문제해결 과제인 SHD 데이터셋 분류 태스크에서는 본 논문에서 제안한 방법인 SABP 및 SABP+ANTLR가 기존의 방법에 비해 유의미한 성능 향상을 가져다주지 못했다. SABP 및 SABP+ANTLR가 다른 태스크 혹은 환경에서는 성능 향상을 가져다줄 가능성이 있는지, 그리고 스파이킹 동역학을 적절하게 고려하는 방법인 SABP 및 SABP+ANTLR가 실용적 문제 해결 과제에서 기존 방법에 비해 유의미한 성능 향상을 가져다주지 못하는 이유가 무엇인지에 대한 추가적인 연구가 필요하다. 비록 본 논문에서 제안한 방법이 실용적 문제 해결 과제에 대해 유의미한 성능 향상을 가져다준다는 실험 결과는 관찰하지는 못했지만, 기존 방법의 문제점에 대한 분석 및 제안된 해결 방안은 다른 스파이킹 신경망 연구자로 하여금 스파이킹 뉴런 동역학과 스파이킹 신경망에서의 백프로퍼게이션 알고리즘 간의 관계에 대해 깊이 이해하고 고찰하는 데 도움이 될 것으로 예상한다.

Spiking Neural Networks (SNNs) mimic biological neural network’s key features, including asynchronous communication between neurons via binary pulse signals, i.e, spikes. Unlike the ordinary artificial neural networks, a straightforward application of the backpropagation to SNNs is not possible due to the discrete nature of spiking neu- ron dynamics. Recently, to work around this problem, the surrogate gradient method was suggested in which the true derivative of the spike generation function is replaced by a surrogate derivative. Due to its effectiveness and scalability, the surrogate gra- dient method has become popular in SNN studies. However, in previous works, the surrogate derivative was applied without proper consideration of the spiking neuron dynamics. In this thesis, the problems of the previous way of applying surrogate derivatives are identified, then a novel backpropagation method for SNNs called Spik- ing Dynamics Aware Backpropagation (SABP) that uses surrogate derivatives with proper considerations of spiking dynamics is proposed. In a simple experiment, it was shown that the change of the activities of spiking neurons due to the parame- ter change could be estimated most accurately with the gradients computed by the proposed method. The presented analysis on previous methods and suggested modifi- cations are expected to help other researchers to examine the relationship between the spiking neuron dynamics and the backpropagation methods for SNNs.