K-LoRA: Беспроблемное объединение любых предметов и стилей LoRA без необходимости обучения

K-LoRA: Unlocking Training-Free Fusion of Any Subject and Style LoRAs

February 25, 2025

Авторы: Ziheng Ouyang, Zhen Li, Qibin Hou

cs.AI

Аннотация

Недавние исследования изучили возможность комбинирования различных LoRA для совместного генерации изученного стиля и содержания. Однако существующие методы либо не способны эффективно сохранять как исходный объект, так и стиль одновременно, либо требуют дополнительного обучения. В данной статье мы утверждаем, что внутренние свойства LoRA могут эффективно направлять диффузионные модели в объединении изученного объекта и стиля. Основываясь на этом инсайте, мы предлагаем K-LoRA — простой, но эффективный подход к слиянию LoRA, не требующий обучения. На каждом уровне внимания K-LoRA сравнивает Top-K элементы в каждой LoRA, подлежащей слиянию, определяя, какую LoRA выбрать для оптимального объединения. Этот механизм выбора гарантирует, что наиболее репрезентативные черты как объекта, так и стиля сохраняются в процессе слияния, эффективно балансируя их вклад. Экспериментальные результаты демонстрируют, что предложенный метод успешно интегрирует информацию об объекте и стиле, изученную исходными LoRA, превосходя современные подходы, основанные на обучении, как в качественных, так и в количественных результатах.

English

Recent studies have explored combining different LoRAs to jointly generate learned style and content. However, existing methods either fail to effectively preserve both the original subject and style simultaneously or require additional training. In this paper, we argue that the intrinsic properties of LoRA can effectively guide diffusion models in merging learned subject and style. Building on this insight, we propose K-LoRA, a simple yet effective training-free LoRA fusion approach. In each attention layer, K-LoRA compares the Top-K elements in each LoRA to be fused, determining which LoRA to select for optimal fusion. This selection mechanism ensures that the most representative features of both subject and style are retained during the fusion process, effectively balancing their contributions. Experimental results demonstrate that the proposed method effectively integrates the subject and style information learned by the original LoRAs, outperforming state-of-the-art training-based approaches in both qualitative and quantitative results.