Controllable Image-to-Image Translation Using Style-Aware Discriminator

Abstract

Despite image-to-image (I2I) translation methods have come a long way in terms of functionality, they do not control the output domain beyond the labels used during training, nor do they interpolate well between two different styles. To resolve such problems, we propose Style-Aware Discriminator, which acts as a style encoder and a discriminator at the same time. It discovers style prototypes in the dataset using the prototype-based contrastive learning and style invariant augmentation, and guides the generator. We tested the proposed method on various datasets, including the unlabeled dataset. Experimental results demonstrate that the proposed framework generates samples that are competitive with current state-of-the-art I2I translation methods. Furthermore, the proposed method allows users to control the results using style interpolation, content transplantation, and local image translation.

이미지 변환(image-to-image translation) 방법들은 기능면에서 많은 발전이 있었음에도 불구하고, 훈련 중에 사용된 레이블만을 선택 할 수 있으며, 스타일 간의 보간을 제대로 하지 못 한다. 우리는 이러한 문제를 해결하기 위해 스타일 인코더와 판별기 역할을 동시에 수행하는 스타일 인식 판별기(Style-Aware Discriminator)를 제안한다. 스타일 인식 판별기는 프로토타입 기반 대조 학습 및 스타일 불변 증강을 사용하여 데이터 세트에서 스타일 프로토타입을 발견하고 생성기를 안내합니다. 우리는 레이블이 지정되지 않은 데이터 세트를 포함하여 다양한 데이터 세트에 대해 제안된 방법을 테스트하였다. 실험 결과는 제안된 프레임워크가 현재의 최첨단 이미지 변환 방법과 경쟁력 있는 결과물들을 생성한다는 것을 보여준다. 또한 제안된 방법은 사용자가 스타일 보간, 콘텐츠 이식 및 로컬 이미지 번역을 사용하여 결과를 제어할 수 있도록 한다.