DreamCache: 피니튜닝 없이 가벼운 개인화 이미지 생성을 위한 특징 캐싱

DreamCache: Finetuning-Free Lightweight Personalized Image Generation via Feature Caching

November 26, 2024

저자: Emanuele Aiello, Umberto Michieli, Diego Valsesia, Mete Ozay, Enrico Magli

cs.AI

초록

개인화된 이미지 생성에는 제어된 생성을 가능하게 하는 참조 대상의 핵심 특징을 포착하는 텍스트-이미지 생성 모델이 필요합니다. 기존 방법은 복잡한 훈련 요구, 높은 추론 비용, 제한된 유연성 또는 이러한 문제들의 조합으로 인해 도전에 직면합니다. 본 논문에서는 효율적이고 고품질의 개인화된 이미지 생성을 위한 확장 가능한 접근 방식인 DreamCache를 소개합니다. DreamCache는 사전 훈련된 확산 제거기의 일부 레이어와 단일 타임스텝에서 참조 이미지 특징의 소수를 캐싱함으로써 가벼운 조건부 어댑터를 통해 생성된 이미지 특징의 동적 변조를 가능하게 합니다. DreamCache는 최신 이미지 및 텍스트 정렬을 달성하며, 순서 크기의 추가 매개변수를 활용하며 기존 모델보다 계산적으로 더 효과적이고 다재다능합니다.

English

Personalized image generation requires text-to-image generative models that capture the core features of a reference subject to allow for controlled generation across different contexts. Existing methods face challenges due to complex training requirements, high inference costs, limited flexibility, or a combination of these issues. In this paper, we introduce DreamCache, a scalable approach for efficient and high-quality personalized image generation. By caching a small number of reference image features from a subset of layers and a single timestep of the pretrained diffusion denoiser, DreamCache enables dynamic modulation of the generated image features through lightweight, trained conditioning adapters. DreamCache achieves state-of-the-art image and text alignment, utilizing an order of magnitude fewer extra parameters, and is both more computationally effective and versatile than existing models.