Fashion Outfit Data Augmentation using Conditional BERT

Abstract

Artificial intelligence (AI) models have been recently used for fashion outfit recommendation tasks. However, an AI-based recommendation system tends to be influenced by imbalanced training data. The bias due to data can cause the system to recommend only outfits with specific attributes or generate incompatible outfits for infrequent clothes in the data. Therefore, a vast amount of clothing data with various items is essential for AI-based recommendations. However, obtaining fashion outfits from experts is expensive and time-consuming. Thus, we use augmentation to obtain new outfits. We propose a fashion outfit data augmentation model consisting of an outfit compatibility model using a bidirectional encoder representation from transformer (BERT) and conditional constraints. The conditional constraints are used in the form of embedding layer architecture used for Conditional BERT. We compared the proposed model with sequence models used for the outfit compatibility model for evaluation. The result shows that the proposed model outperforms these models in maintaining target attributes and diversity. Furthermore, we evaluated the effect of retraining with augmentation outfits. Using our model to balance training data is better than using oversampling. Additionally, retraining with augmented outfits can change the recommendation tendency for the target attribute.

최근 패션 아웃핏 추천 연구에서 AI 기반 모델을 사용하는 경우가 많다. AI 기반 추천 시스템에서는 학습 데이터의 불균형으로 인해, 추천 결과의 편향이 발생할 수 있다. 특히, 패션 아웃핏 추천에서는 지속적으로 변화하는 환경에 대해 새로운 추천이 가능해야 하므로 기존 아웃핏에 대한 편향을 해결하는 것이 중요하다. 편향이 조정된 학습 데이터로 모델을 재학습하여 문제를 해결할 수 있으나, 이를 위해 새로운 아웃핏 데이터를 수집하는 것은 어려운 문제이다. 본 연구에서는 이러한 문제의 해결을 위해, 패션 아웃핏 증강 모델을 제안한다. 증강 모델을 통해 소수 데이터를 증강하여 학습 데이터를 조정할 수 있다. 본 연구에서는 패션 아웃핏 어울림 모델과 조건부 제약 모델을 결합하여 패션 아웃핏 증강 모델 구조를 새롭게 제시하였다. 본 연구에서는 실험을 통해, 이 모델을 통해 증강된 아웃핏이 비교 모델로 증강된 아웃핏에 비해 목표 속성을 유지하고, 다양성을 갖추는데 있어서 유리함을 확인하였다. 또한 이렇게 증강된 아웃핏을 패션 아웃핏 추천 모델에 학습시킴으로써, 추천 결과의 편향을 줄이고, 추천 경향성을 변경할 수 있음도 확인하였다.