Forearm Motion Classification Algorithm based on Electroencephalogram and Electromyography Signal Fusion

Abstract

비침습적인 표면 근전도 신호 (EEG)와 뇌파 신호 (EEG)로부터 의수를 제어하기 위한 동작의 분류가 가능하다. 본 논문에서는 전완근 절단 환자들의 재활을 위한 보철물 및 의수에 활용될 수 있는 알고리즘으로, 손과 손목 움직임의 분류를 위해 뇌파 신호와 표면 근전도 신호를 융합하는 새로운 동작 분류 방법을 제안하였다. 데이터 획득을 위해, 6명의 전완 절단 환자와 9명의 비절단 환자가 임상실험에 참여하였다. 뇌파 신호와 표면 근전도 신호 모두 각 신호에 유효한 주파수 영역에서의 대역별 특징을 추출하여, 휴식과 동작 기간 사이의 관계성을 분석하였다. 이를 이용하여 2-D 이미지를 학습의 입력 데이터로 사용하는 딥러닝 기법 중 하나인 합성곱 신경망(Convolutional Neural Network, CNN), 전이학습 (Transfer learning) 알고리즘을 활용하여 실제 동작을 기준으로 동작을 구분하는 분류 모델을 생성하였고, 이 모델의 정확도를 확인하였다. 그 결과, EEG 데이터와 EMG 데이터로부터 사전 학습이 완료된 모델로부터 EEG 데이터만으로 동작 분류 알고리즘의 분류 정확도가 상승함을 확인하였다. 대조군으로서 활용된 일반인 피실험자의 경우에는 평균 6.0%의 정확도가 상승하였고, 전완근 절단 환자의 경우 평균 5.2%의 정확도가 상승하였다. 이번 연구를 통해 뇌파 신호와 표면 근전도신호의 주파수 영역에서의 특징으로 생성된 이미지를 합성곱 신경망 알고리즘의 입력으로 활용하여 데이터를 훈련하였다. 이 과정에서 CNN 알고리즘 기반의 EEG 데이터의 싱글 모달 분류 모델, EMG 데이터의 싱글 모달 분류 모델을 생성하였다. 또한, 전이학습 기반의 EEG 데이터의 특징을 학습한 멀티모달 EMG 데이터 분류 모델과, EMG 데이터의 특징을 학습한 멀티모달 EEG 데이터 분류 모델 또한 생성하였다. 그리고 이 네 개의 분류모델의 분류 정확도를 분석하였다. 그 결과, EEG 데이터와 EMG 데이터 두 신호를 융합하여 EEG 데이터와 EMG 데이터의 특징을 학습한 EEG 데이터의 사전학습된 분류 모델을 생성하였을 때 동작 구분의 정확도가 가장 좋은 것을 확인하였다. 또한, EEG 데이터의 전이학습 모델에서 동작 구분의 정확도가 상승함을 보임으로써, 근전 의수가 궁극적으로 나아가야할 근전 신호에 의존적이지 않게 구동하는 의수 제어 알고리즘의 활용으로 나아갈 수 있다.

Motion classification with an aim to control prosthetic arms can be performed using biometric signals recorded by electroencephalography (EEG) or electromyography (EMG) with noninvasive surface electrodes. Current single-modal EEG and EMG based motion classification techniques, however, are limited owing to complexity and noise issue of EEG signals and electrode placement bias and the low resolution issue of EMG signals. Here, to overcome those limitations of single-modal techniques, we proposed a novel two-dimensional (2D) input image feature fusion based on transfer learning paradigm from EEG and EMG signals for detecting forearm movements in transforearm amputees. A feature extraction method in the frequency domain of the EEG signal was adopted to EMG signal to establish a 2D input image feature. The input images were trained on a model based on the convolutional neural network algorithm and transfer learning, which requires 2D images as input data. For data acquisition, six patients with transforearm amputation and nine controls without amputation were recruited for the study. Compared with the conventional single-modal trained models, the proposed multimodal fusion method based on the transfer learning classification model showed significantly improved classification accuracy. When the two signals were combined and used in the case of the pretrained model for EEG transfer learning, the classification accuracy increased by 5.7% in average. Our findings indicate that the multimodal method based on transfer learning is more effective than the single-modal method to develop the high-fidelity and practical motion classification algorithm.