Structural Support Vector Machine을 이용한 다중 물체 추적 알고리즘

Abstract

물체 추적은 컴퓨터 비전 분야에서 기본적이면서 가장 중요한 문제 중 하나로 오랜 기간 연구되어왔다. 특히 다중 물체에 대한 추적 알고리즘은 단일 추적 알고리즘에 비해 추적 물체의 수에 대한 정보를 미리 알기가 힘들고, 추적 물체 간의 간섭으로 인해 더 복잡한 형태를 갖는다. 최근 물체 검출 알고리즘의 발달로 인해 주어진 frame에서 추적 물체의 수에 대한 정보를 어느 정도 정확하게 예측할 수 있는 기반이 마련되었다. 따라서 다중 물체 추정 알고리즘은 여러 장의 frame에서 이러한 검출 결과 사이의 연결을 통해 문제를 해결하는 방향으로 발전하고 있다. 하지만 물체의 거짓 양성 검출이나, 두 물체 사이의 가림 현상, 새로운 물체의 나타남이나 기존 추적 물체의 사라짐 등을 효과적으로 다루는 것이 아직 큰 문제로 남아있다.이러한 검출 결과 사이의 연결 문제를 풀기 위해 구조학습이 필요하다. 구조학습이란 주어진 training data \{(x, y)\}의 상관관계를 고려하여 test data x가 주어질 때 이에 해당하는 y를 예측 할 수 있는 함수 h를 학습하는 알고리즘이다. 이때 x와 y 사이의 관계는 둘 사이의 scoring function으로 나타나며 이를 최대화 할 수 있는 함수 h를 찾는다. 이러한 h를 학습하는 방법으로 `Structural Support Vector Machine'이라는 방법이 존재한다. 이 논문에서는 다중 물체 추적에서 데이터 사이의 복잡한 연관 관계를 학습하기 위해 `Structural Support Vector Machine'을 사용하여 문제를 해결한다.

We present an online data association algorithm for multi-object tracking using structured prediction.This problem is formulated as a bipartite matching and solved by generalized classification, specifically, Structural Support Vector Machines (S-SVM). Our structural classifier is trained based on matching results given the similarities between all pairs of objects identified in two consecutive frames, where the similarity can be defined by various features such as appearance, location, motion, etc.With an appropriate joint feature map and loss function in the S-SVM, finding the most violated constraint in training and predicting structured labels in testing are modeled by the simple and efficient Kuhn-Munkres (Hungarian) algorithm in a bipartite graph.The proposed structural classifier can be generalized effectively for many sequences without re-training.Our algorithm also provides a method to handle entering/leaving objects, short-term occlusions, and misdetections by introducing virtual agents---additional nodes in a bipartite graph. We tested our algorithm on multiple datasets and obtained comparable results to the state-of-the-art methods with great efficiency and simplicity.