시공간 정보를 활용한 유향 그래프 기반 3D 모션 데이터 정제

Abstract

With recent advances in computer science, there is an increasing need to convert the human body’s motion to digital data to research human bodies. Motion capture system has been used for measuring human or animal movement as sequential motion data. Skeleton motion data captured by motion capture devices comprises human poses represented via joint angles or joint positions for each frame. 3D skeleton motion data are widely used in several applications such as human-computer interactions, virtual reality, robotics, movie production, and action recognition. However, the 3D skeleton data captured by motion capture devices are often noisy and incomplete because of calibration error, sensor noise, poor sensor resolution, and occlusion due to body parts of clothing. For effective data utilization, data refinement should be performed before use. Data-driven models have been proposed to denoise and fill 3D skeleton data. However, the previous works ignore the kinematic dependencies between joints and bones, and they can act as noise in determining the marker position. Inspired by a directed neural network, we present a model to fill and denoise the markers using the information of relevant joints by representing the skeleton data as a directed acyclic graph. It can directly exploit the spatial information, which was included only in constraint indirectly in the previous works, by creating bone data from joint data and the temporal information from the LSTM layer. Also, it can learn the dependency between joints from the data via adaptive graphs by putting joint and bone data into the network. As a result, the model showed good refinement performance for unseen data with a different type of noise level and missing data in the learning process.

최근 컴퓨터 공학의 발전과 함께, 인체의 3D 모션 데이터를 이용한 연구의 필요성이 증가하고 있다. 3D 모션 데이터 측정은 광학 카메라를 이용하여 측정된다. 광학 카메라로 측정된 인체의 데이터는 사물에 의해 가려지거나 노이즈가 발생하기 때문에 데이터를 사용하기 전에 전처리가 반드시 필요하다. 기존에는 사람의 직관에 따라 수동으로 데이터를 전처리하였으며, 이러한 복원 방법은 복원된 데이터가 부자연스럽고 노동력이 많이 드는 작업이었다. 딥러닝의 발전은 인체 데이터의 복원 및 생성에 많은 시간을 단축해주었으며 좋은 결과를 보여주었다. 많은 연구에서 Fully connected layer와 CNN 기반의 오토엔코더를 이용하여 인체 데이터를 복원하였다. 그러나 이러한 방법은 인체의 공간적인 골격 정보를 고려하지 않는다는 단점이 있다. 본 논문에서는 기존의 오토엔코더 구조에서 인체의 골격 정보를 활용하기 위해 인체 데이터를 그래프 구조로 표현하고자 하였다. 우리가 제안한 BRA DGN 모델은 유향 그래프 중 하나인 DGN Block과 LSTM을 사용하여 인체의 시공간 정보를 추출하여 인체의 데이터를 복원한다. 또한, 모델의 학습 과정에서 사용되는 Loss 함수에 Bone length와 Smoothness를 부과함으로써 인체 데이터가 자연스럽게 복원될 수 있도록 하였다. 모델의 성능을 평가하기 위해 총 4가지 실험을 진행하였다: (1) 결측 데이터 복원 실험, (2) 노이즈 제거 실험, (3) 노이즈가 발생한 결측 데이터의 복원 실험, (4) 정규화가 되지 않은 데이터에 대한 실험. 각 실험에서 우리가 제안한 모델이 공간적 정보를 사용하기 때문에 기존의 모델들에 비해 좋은 성능을 보여주었다.