TRCE: Zuverlässige Löschung bösartiger Konzepte in Text-zu-Bild-Diffusionsmodellen

TRCE: Towards Reliable Malicious Concept Erasure in Text-to-Image Diffusion Models

March 10, 2025

Autoren: Ruidong Chen, Honglin Guo, Lanjun Wang, Chenyu Zhang, Weizhi Nie, An-An Liu

cs.AI

Zusammenfassung

Jüngste Fortschritte in Text-zu-Bild-Diffusionsmodellen ermöglichen die Erzeugung fotorealistischer Bilder, bergen jedoch auch das Risiko, schädliche Inhalte wie NSFW-Bilder zu produzieren. Um dieses Risiko zu mindern, werden Konzeptlöschungsmethoden untersucht, um dem Modell das Verlernen spezifischer Konzepte zu erleichtern. Aktuelle Studien haben jedoch Schwierigkeiten, schädliche Konzepte, die implizit in Eingabeaufforderungen (z. B. metaphorische Ausdrücke oder adversariale Prompts) eingebettet sind, vollständig zu löschen, während die normale Generierungsfähigkeit des Modells erhalten bleibt. Um diese Herausforderung zu bewältigen, schlägt unsere Studie TRCE vor, das eine zweistufige Konzeptlöschungsstrategie verwendet, um einen effektiven Kompromiss zwischen zuverlässiger Löschung und Wissenserhalt zu erreichen. Zunächst beginnt TRCE damit, die schädliche Semantik, die implizit in textuellen Eingabeaufforderungen eingebettet ist, zu löschen. Durch die Identifizierung eines kritischen Abbildungsziels (d. h. das [EoT]-Embedding) optimieren wir die Cross-Attention-Schichten, um schädliche Eingabeaufforderungen auf kontextuell ähnliche, aber sichere Konzepte abzubilden. Dieser Schritt verhindert, dass das Modell während des Denoising-Prozesses übermäßig von schädlicher Semantik beeinflusst wird. Anschließend berücksichtigt TRCE die deterministischen Eigenschaften des Sampling-Pfads des Diffusionsmodells und lenkt die frühe Denoising-Vorhersage durch kontrastives Lernen in die sichere Richtung und weg von der unsicheren, wodurch die Erzeugung schädlicher Inhalte weiter vermieden wird. Schließlich führen wir umfassende Bewertungen von TRCE anhand mehrerer Benchmarks zur Löschung schädlicher Konzepte durch, und die Ergebnisse zeigen seine Wirksamkeit bei der Löschung schädlicher Konzepte bei gleichzeitig besserer Erhaltung der ursprünglichen Generierungsfähigkeit des Modells. Der Code ist verfügbar unter: http://github.com/ddgoodgood/TRCE. WARNUNG: Dieses Papier enthält modellgenerierte Inhalte, die anstößiges Material enthalten können.

English

Recent advances in text-to-image diffusion models enable photorealistic image generation, but they also risk producing malicious content, such as NSFW images. To mitigate risk, concept erasure methods are studied to facilitate the model to unlearn specific concepts. However, current studies struggle to fully erase malicious concepts implicitly embedded in prompts (e.g., metaphorical expressions or adversarial prompts) while preserving the model's normal generation capability. To address this challenge, our study proposes TRCE, using a two-stage concept erasure strategy to achieve an effective trade-off between reliable erasure and knowledge preservation. Firstly, TRCE starts by erasing the malicious semantics implicitly embedded in textual prompts. By identifying a critical mapping objective(i.e., the [EoT] embedding), we optimize the cross-attention layers to map malicious prompts to contextually similar prompts but with safe concepts. This step prevents the model from being overly influenced by malicious semantics during the denoising process. Following this, considering the deterministic properties of the sampling trajectory of the diffusion model, TRCE further steers the early denoising prediction toward the safe direction and away from the unsafe one through contrastive learning, thus further avoiding the generation of malicious content. Finally, we conduct comprehensive evaluations of TRCE on multiple malicious concept erasure benchmarks, and the results demonstrate its effectiveness in erasing malicious concepts while better preserving the model's original generation ability. The code is available at: http://github.com/ddgoodgood/TRCE. CAUTION: This paper includes model-generated content that may contain offensive material.