스파이킹 신경망을 이용한 효율적 정보 처리를 위한 스파이크 기반 학습 방법 및 전용 하드웨어 개발

Abstract

본 논문은 스파이킹 신경망 (Spiking Neural Networks) 를 효율적인 연산 모델로 이용하기 위하여 필요한 스파이크 기반 학습 알고리즘과 스파이킹 신경망 전용 하드웨어 구조에 대한 두 가지 연구를 제시한다.

학습 알고리즘에 관한 첫 번째 연구에서는, 가장 먼저 기존에 제안되었던 여러 스파이킹 신경망의 지도 학습 (supervised learning) 알고리즘들의 특징을 분석하고 비교하였다. 이를 통해, 가장 널리 사용되고 있는 두 가지 접근법, 스파이크 활성화 (activation) 기반 학습 방법과 스파이크 시간 (timing) 기반 학습 방법이 상호보완적인 특성을 가지고 있는 점을 발견하여 두 가지 방법을 조합한 새로운 학습 방법을 제안하였다. 임의의 스파이크 패턴 학습, MNIST 숫자 인식, N-MNIST 숫자 인식 등의 여러 문제를 위한 스파이킹 신경망을 학습시키는 실험에서, 제안한 학습 방식은 더 빠른 학습 수렴 속도와 높은 정확도를 보여주는 동시에 더 적은 스파이크를 사용하여 학습에 성공함으로써 제안한 학습 방식이 각 스파이크의 정보를 더 효율적으로 활용할 수 있음을 보였다.

전용 하드웨어에 관한 두 번째 연구에서는, 속도와 전력 소모면에서 최적화된 하드웨어를 위한 효율적인 시냅스 메모리 구조가 제안되었다. 먼저 각 액손 (axon) 별 시냅스 가중치에 다른 스케일을 적용하는 방식을 제안하여 같은 용량의 시냅스 메모리를 사용하였을 경우 MNIST 숫자 인식 문제를 1.4% 더 정확하게 해결하고, 같은 정확도로 문제를 해결하는 경우 메모리 총량을 30% 감소시킬 수 있었다. 하드웨어에 구현될 수 있는 네트워크의 연결 구조를 다양하게 할 수 있는 뉴런 (neuron) 및 액손 연결 방식이 제안되었으며, 제안된 양방향 (transposable) 접근 가능 시냅스 메모리는 Spike-Timing-Dependent Plasticity (STDP) 학습 속도를 최대 6배 증가시키는 결과를 보였다. 제안된 하드웨어 구조는 65nm CMOS 공정을 통해 칩으로 제작되어 53mW 전력을 소모하면서 시냅스 연산 당 15.2pJ의 에너지 효율로, CPU 대비 200배 빠른 속도로 MNIST 문제를 처리할 수 있었다.

본 논문에서 제시된 두 연구는 스파이킹 신경망의 효율적 사용을 위해 필요한 학습 알고리즘과 전용 하드웨어에 대한 기존 연구들을 발전시키는 방향으로 진행되었으며, 두 연구의 연구 결과를 활용하여 하드웨어 구현 가능성을 고려한 학습 알고리즘 및 이에 필요한 하드웨어 구조를 함께 개발하는 일은 향후 연구 주제로 남아 있다.

Spiking Neural Networks (SNNs) have been studied for their biological plausibility and their potential to be energy-efficient computation models. To use SNNs for efficient information processing, there remain various research questions and problems to be answered. In particular, proper learning rules should be devised for SNNs to be used for practical applications, and energy efficient hardware platform for SNNs should be developed. In this dissertation, two different studies related to these research directions are presented. In the first study, a novel supervised learning method for SNNs was proposed. The proposed method uses the information from both the spike activation and the timing for more precise gradient computation in SNNs. In the second study, a digital hardware system for SNNs with efficient synapse memory structure based on SRAM crossbar array was designed. The proposed design provided high throughput and energy efficiency with the help of optimized memory structure.