Weakly Supervised Object Detection using Detection Refinement and Auxiliary Data

Abstract

우리는 물체 검출기 정제와 보조 데이터를 이용한 약한 지도 학습 기반 물체 검출 방법을 제안한다. 약한 지도 학습 기반 물체 검출은 이미지 레벨 클래스 레이블만을 사용하기 때문에 어려운 문제이다. 우리는 이미지 레벨 클래스 레이블만으로도 정확한 물체 검출을 할 수 있도록, 한 이미지 내의 여러 물체에 레이블을 할당하는 물체 검출기 정제 과정을 추가하였다. 이 방법은 여러 물체를 검출하여 효율적이었지만, 여전히 물체의 매우 구별적인 영역만 검출해낸다는 한계가 있었다. 우리는 이 점을 개선하기 위해 웹에서 동영상을 얻은 후, 클래스 주의 영역과 모션 정보를 이용해 영상 분할을 얻었다. 그다음으로, 이렇게 얻은 영상 분할에서 사각 주석 영역을 생성하고 이를 학습에 활용하였다. 이는 물체의 전체 영역을 잡는데 도움을 주었으며, 우리의 결과를 PASCAL VOC 2007 데이터셋에서 평가한 결과, 우리의 알고리즘은 기존 방법보다 좋은 성능을 보였다.

We propose a weakly supervised object detection algorithm using object detection refinement and auxiliary data. This problem is challenging because it only uses image level class labels. For the purpose, we first perform object detection refinement by identify multiple instances within input images. This technique is useful to detect individual instances, but the detector is still limited to finding discriminative object parts. To handle this issue, we employ unlabeled videos on the web to obtain bounding box annotations without human intervention. Specifically, we perform object segmentation using the videos based on class specific activation and motion cue. Then, we construct bounding box labels of objects using the segmented images with confidence. The labels obtained from this procedure are utilized to train object detector, which is effective to identify whole object areas. We evaluate our algorithm on PASCAL VOC 2007 dataset, and the proposed algorithm outperforms existing approaches by substantial margin.