Learning to Generate Synthetic Classes for Deep Metric Learning

Abstract

Deep metric learning aims to learn an embedding space where the distance between data reflects their class equivalence, even when their classes are unseen during training. However, the limited number of classes available in training precludes generalization of the learned embedding space. Motivated by this, we introduce a new data augmentation approach that synthesizes novel classes and their embedding vectors. Our approach can provide rich semantic information to an embedding model and improve its generalization by augmenting training data with novel classes unavailable in the original data. We implement this idea by learning and exploiting a conditional generative model, which, given a class label and a noise, produces a random embedding vector of the class. Our proposed generator allows the loss to use richer class relations by augmenting realistic and diverse classes, resulting in better generalization to unseen samples. Experimental results on public benchmark datasets demonstrate that our method clearly enhances the performance of proxy-based losses.

심층 거리 학습은 학습 중에 보지 못한 클래스라도 데이터 간의 거리가 클래스의 관계를 반영하는 임베딩 공간을 학습하는 것을 목표로한다. 그러나 학습 때 사용 가능한 클래스의 수는 제한되고 이는 모델의 일반화를 방해한다. 이에 따라 우리는 새로운 클래스와 해당 클래스의 임베딩 벡터를 생성하는 새로운 데이터 증대 방식을 제안한다. 본 논문에서 제안하는 방법은 기존 학습 데이터셋에서는 사용할 수 없는 새로운 클래스로 학습 데이터셋을 보강하여 임베딩 모델로 하여금 풍부한 의미적 정보를 제공하여 모델의 일반화를 개선한다. 우리는 제안하는 아이디어를 조건부 생성 모델을 학습함으로써 구현하며 이는 클래스 정보와 랜덤 노이즈를 입력으로 받아 임베딩 벡터를 생성한다. 제안하는 생성기는 실제와 유사하고 또 다양한 클래스를 보강하여 프록시 기반의 손실 함수로 하여금 더 풍부한 클래스 간의 관계를 활용하여 테스트 타임 때의 한번도 보지 못한 클래스 데이터에 대한 일반화를 개선한다. 또한 본 논문은 제안하는 방법이 프록시 기반의 손실 함수의 성능을 분명히 향상 시킨다는 것을 증명한다.