Protezione quasi a costo zero contro l'imitazione tramite modelli di diffusione personalizzati

Nearly Zero-Cost Protection Against Mimicry by Personalized Diffusion Models

December 16, 2024

Autori: Namhyuk Ahn, KiYoon Yoo, Wonhyuk Ahn, Daesik Kim, Seung-Hun Nam

cs.AI

Abstract

I recenti progressi nei modelli di diffusione rivoluzionano la generazione di immagini ma comportano rischi di abuso, come replicare opere d'arte o generare deepfakes. I metodi esistenti di protezione delle immagini, sebbene efficaci, faticano a bilanciare l'efficacia della protezione, l'invisibilità e la latenza, limitando così l'uso pratico. Introduciamo il pre-training della perturbazione per ridurre la latenza e proponiamo un approccio di miscelazione delle perturbazioni che si adatta dinamicamente alle immagini in ingresso per minimizzare la degradazione delle prestazioni. La nostra nuova strategia di addestramento calcola la perdita di protezione attraverso più spazi di caratteristiche VAE, mentre la protezione mirata adattiva all'infereza migliora la robustezza e l'invisibilità. Gli esperimenti mostrano prestazioni di protezione comparabili con un'incrementata invisibilità e un drastico riduzione del tempo di inferenza. Il codice e la demo sono disponibili su https://webtoon.github.io/impasto

English

Recent advancements in diffusion models revolutionize image generation but pose risks of misuse, such as replicating artworks or generating deepfakes. Existing image protection methods, though effective, struggle to balance protection efficacy, invisibility, and latency, thus limiting practical use. We introduce perturbation pre-training to reduce latency and propose a mixture-of-perturbations approach that dynamically adapts to input images to minimize performance degradation. Our novel training strategy computes protection loss across multiple VAE feature spaces, while adaptive targeted protection at inference enhances robustness and invisibility. Experiments show comparable protection performance with improved invisibility and drastically reduced inference time. The code and demo are available at https://webtoon.github.io/impasto