StyleStudio: 선택적으로 스타일을 제어하는 텍스트 주도 스타일 전이

StyleStudio: Text-Driven Style Transfer with Selective Control of Style Elements

December 11, 2024

저자: Mingkun Lei, Xue Song, Beier Zhu, Hao Wang, Chi Zhang

cs.AI

초록

텍스트 주도 스타일 전이는 참조 이미지의 스타일을 텍스트 프롬프트로 설명된 콘텐츠와 병합하는 것을 목표로 합니다. 최근 텍스트에서 이미지로 모델을 전환하는 발전으로 스타일 변환의 세세함이 향상되었지만, 참조 스타일에 오버피팅되는 문제, 스타일적 제어의 제한, 텍스트 콘텐츠와의 불일치 등 주요 도전 과제가 여전히 남아 있습니다. 본 논문에서는 이러한 문제를 해결하기 위해 세 가지 보완적 전략을 제안합니다. 첫째, 스타일과 텍스트 특징을 더 잘 통합하여 정렬을 향상시키는 교모달 적응 인스턴스 정규화(AdaIN) 메커니즘을 소개합니다. 둘째, 스타일 기반 분류기 없는 가이던스(SCFG) 접근 방식을 개발하여 스타일 요소에 대한 선택적 제어를 가능하게 하여 관련 없는 영향을 줄입니다. 마지막으로 초기 생성 단계에서 교사 모델을 통합하여 공간 레이아웃을 안정화하고 아티팩트를 완화합니다. 우리의 포괄적인 평가는 스타일 전이 품질과 텍스트 프롬프트와의 정렬에서 상당한 향상을 입증합니다. 더불어, 우리의 방법론은 세밀한 조정 없이 기존의 스타일 전이 프레임워크에 통합될 수 있습니다.

English

Text-driven style transfer aims to merge the style of a reference image with content described by a text prompt. Recent advancements in text-to-image models have improved the nuance of style transformations, yet significant challenges remain, particularly with overfitting to reference styles, limiting stylistic control, and misaligning with textual content. In this paper, we propose three complementary strategies to address these issues. First, we introduce a cross-modal Adaptive Instance Normalization (AdaIN) mechanism for better integration of style and text features, enhancing alignment. Second, we develop a Style-based Classifier-Free Guidance (SCFG) approach that enables selective control over stylistic elements, reducing irrelevant influences. Finally, we incorporate a teacher model during early generation stages to stabilize spatial layouts and mitigate artifacts. Our extensive evaluations demonstrate significant improvements in style transfer quality and alignment with textual prompts. Furthermore, our approach can be integrated into existing style transfer frameworks without fine-tuning.