조합 기반 분류: 이질적 출력 공간 분류기의 조합을 통한 학습

Abstract

수평적 클래스 정의를 사용하는 표준 분류 모델에서 각 클래스의 표현 방식은 클래 스 내의 중요한 의미 정보와 클래스 간의 상관 관계를 모델링 하지 못한다. 본 박사학위 논문은 이런 표준 분류 모델의 한계를 개선하는 조반 기반 분류라는 새로운 학습 프레임 워크를 제안한다. 조합 기반 분류기는 더 적은 수의 클래스를 포함하는 이질적인 메타 클래스 세트들을 정의하고 각 메타 클래스 세트에 대해 각기 다른 분류기를 훈련시켜 결과를 결합함으로써 세분 된 클래스 세트에 대한 최종 예측을 얻는다. 메타 클래스 세트 표현을 통해 훈련 된 모델은 더 적은 수의 클래스를 포함하기 때문에 데이터 부 족 문제에 대해 보다 강하며, 메타 클래스 세트의 이질성은 자연스럽게 모델에 다양한 클래스 간의 관계를 포함시켜 일반화 성능을 향상시킨다. 본 박사학위 논문에서는 제안 된 프레임워크의 효과를 다양한 각도에서 확인하기 위해 이미지 지리 위치 예측, 세분 분류 및 잡음에 강인한 분류와 같은 다양한 문제에 조합 기반 분류를 적용한다. 또 본 박사학위 논문에서는 조합 기반 분류의 전반적인 성능에 크게 영향을 미치는 메타 클래스 세트 구성을 결정하는 방법도 제시한다. 첫 번째 응용에서는 조합 기반 분류를 세분 분류에 적용하여 그 효과를 보인다. 조합 기반 분류 프레임워크는 관련 세부 클래스를 단일 메타 클래스로 그룹화하여 클래스 간 관 계 정보를 제공하고 정확성과 효율성 측면에서 일관되게 표준 분류 방식보다 더 나은 예측 성능을 보인다. 또한, 조합 기반 분류가 일반적인 수평적인 분류 방식보다 잡음에 더 강하다는 것을 보인다. 여러 클래스를 단일 메타 클래스로 그룹화하면 메타 클래스 표현에서 이러한 클래스 사이의 레이블 잡음이 사라져 데이터 집합의 잡음 수준이 줄어 듭니다. 조합 기반 분류는 합성된 잡음과 실제 잡음이있는 데이터 세트에 대한 광범위한 실험에서 기존 방법보다 더 우수한 성능을 보인다. 마지막 응용에서는 분류 기반 이미지 지리 위치 예측 문제에서 조합 기반 분류를 사용하여 클래스의 세분성을 확대한다. 제안 된 방법은 연속적인 공간인 세계지도를 세분화 된 양자화를 함으로써 더 나은 이산적 근사를 허용하면서도 데이터 부족 문제를 완화한다. 마지막으로, 본 박사학위 논문은 잠재적인 장/단기 연구 방향을 제시한다. 단기적인 연구 방향으로 제안 된 프레임워크의 추가 응용 및 확장에 대한 간단한 예비 실험 및 분석을 수행하며, 장기 연구 방향으로 분산 보안 학습 및 적은 예제 분류 측면에서 제안 된 방법을 논한다.

In the standard classification models with flat class definition, the representa- tion of each class is prone to miss crucial semantic knowledge within classes (due to lack of training data) and correlation across classes (due to disregard of inter- class modeling). This dissertation primarily proposes a novel learning framework for classification, called combinatorial classification that allows us to mitigate these challenges by training multiple classifiers on heterogeneous, coarse meta-class sets and combining the results to obtain the final prediction on a fine-grained class set. The meta-class sets make the trained models more robust to the data deficiency problem via their coarse representation while the heterogeneity of the meta-class sets naturally introduces diverse inter-class relations into the model and leads to better generalization performance. To illustrate effectiveness of the proposed framework, we apply combinatorial classification to different tasks: fine-grained, noise-robust classifications and image geolocalization. In addition to the underlying framework, we also present ways of determining the meta-class set configuration for each application as overall perfor- mance of combinatorial classification highly depends on it. We first show that the we show that combinatorial classification is effective in fine-grained classification. In fine-grained classification tasks, the combinatorial classification framework provides inter-class relationships by grouping relevant classes into a single meta-class, and outperforms the standard classification approaches consistently in terms of accuracy and efficiency. Then, we illustrate that combinatorial classification is more robust to label noise than ordinary flat classifiers. After grouping multiple classes into a single meta-class, label noise between these classes disappears in the meta-class rep- resentation reducing the noise level in the dataset. An extensive set of experiments on datasets with synthetic and real noise shows superior performance of the pro- posed method over existing methods. In the last application, we use combinatorial classification to enlarge the class granularity in the classification-based image ge- olocalization. The proposed method allows better approximation of the continuous world map by discrete classes while mitigating the data deficiency problem raised by fine-grained class quantization. Finally, we present potential short-term and long-term future research directions. For the short-term future research, we conduct brief preliminary experiments and analyses for additional applications and extensions of the proposed framework. We then discuss the proposed method in terms of distributed secure learning and few- shot classification as the long-term research directions.