개인화된 확산 모델에 의한 모방에 대한 거의 제로 비용의 보호

초록

확산 모델의 최근 발전은 이미지 생성을 혁신적으로 바꾸었지만, 예술 작품을 복제하거나 딥페이크를 생성하는 등의 남용 위험을 제기합니다. 기존의 이미지 보호 방법은 효과적이지만, 보호 효능, 투명성, 지연 시간을 균형있게 유지하는 데 어려움을 겪어 실용적인 사용을 제한합니다. 저희는 지연 시간을 줄이기 위한 변형 사전 훈련을 소개하고, 입력 이미지에 동적으로 적응하여 성능 저하를 최소화하는 변형 혼합 방법을 제안합니다. 저희의 새로운 훈련 전략은 다중 VAE 특징 공간에서 보호 손실을 계산하며, 추론 시 적응형 대상 보호가 강건성과 투명성을 향상시킵니다. 실험 결과, 향상된 투명성과 추론 시간의 급격한 감소와 함께 비슷한 보호 성능을 보여줍니다. 코드와 데모는 https://webtoon.github.io/impasto에서 확인할 수 있습니다.

English

Recent advancements in diffusion models revolutionize image generation but pose risks of misuse, such as replicating artworks or generating deepfakes. Existing image protection methods, though effective, struggle to balance protection efficacy, invisibility, and latency, thus limiting practical use. We introduce perturbation pre-training to reduce latency and propose a mixture-of-perturbations approach that dynamically adapts to input images to minimize performance degradation. Our novel training strategy computes protection loss across multiple VAE feature spaces, while adaptive targeted protection at inference enhances robustness and invisibility. Experiments show comparable protection performance with improved invisibility and drastically reduced inference time. The code and demo are available at https://webtoon.github.io/impasto

개인화된 확산 모델에 의한 모방에 대한 거의 제로 비용의 보호

Nearly Zero-Cost Protection Against Mimicry by Personalized Diffusion Models

초록

Support