Out-of-Distribution Image Detection Using Compression Complexity Pooling

Abstract

본 논문은 학습 외 분포 이미지(out-of-distribution image)를 탐지하기 위해 압축 복잡도 풀링(compression complexity pooling)을 이용한 MALCOM 기법을 제안한다. MALCOM은 1) 이미 학습된 소프트맥스 분류기(softmax classifier)를 다시 학습할 필요가 없으며 2) 하이퍼파라미터 최적화를 위한 학습 외 이미지 또한 필요로 하지 않는다. 이 논문은 컨볼루셔널 뉴럴 네트워크(convolutional neural networks)에서 GAP(global average pooling)를 사용할 때에 피쳐 맵(feature map)의 공간적인 정보가 사라지는 것에 주목했으며, MALCOM은 이 압축 기법을 이용한 유사도 측정 알고리즘인 NCD(normalized compression distance)와 학습셋(training dataset)의 정보를 요약해주는 prototypical maps를 사용한 기법이다. 결과적으로 피쳐 맵의 공간적인 정보 중 하나인 압축 복잡도를 측정하며 최신 기법들과 비교해 좋은 성능을 낼 수 있었다. 특히, 학습 외 분포 이미지를 사용해서 확장할 경우에는 최고의 성능을 보여주었다.

To reliably detect out-of-distribution images based on already deployed convolutional neural networks, several recent studies on the out-of-distribution detection have tried to de fine effective con fidence scores without retraining the model. Although they have shown promising results, most of them need to find the optimal hyperparameter values by using a few out-of-distribution images, which eventually assumes a speci fic test distribution and makes it less practical for real-world applications. In this thesis, a novel out-of-distribution detection method termed as MALCOM is proposed, which neither uses any out-of-distribution sample nor retrains the model. Inspired by an observation that the global average pooling cannot capture spatial information of feature maps in convolutional neural networks, the method aims to extract informative sequential patterns from the feature maps. To this end, a similarity metric is introduced that focuses on shared patterns between two sequences based on the normalized compression distance. In short, MALCOM uses both the global average and the spatial patterns of feature maps to accurately identify out-of-distribution images.