확산 모델을 위한 이미지 복사 감지

Image Copy Detection for Diffusion Models

September 30, 2024

저자: Wenhao Wang, Yifan Sun, Zhentao Tan, Yi Yang

cs.AI

초록

확산 모델에 의해 생성된 이미지는 디지털 아트 및 시각적 마케팅에서 점점 더 인기를 얻고 있습니다. 그러나 이러한 생성된 이미지는 기존 이미지에서 콘텐츠를 복제할 수 있으며 콘텐츠의 원본성에 대한 도전 과제를 제기할 수 있습니다. 기존의 이미지 복사 감지 (ICD) 모델은 수동으로 제작된 복제품을 감지하는 데 정확하지만, 확산 모델로부터의 도전 과제를 간과합니다. 이로 인해 우리는 확산 모델을 위해 특화된 최초의 ICD 인 ICDiff를 소개하게 되었습니다. 이를 위해 우리는 확산-복제 (D-Rep) 데이터셋을 구축하고 이에 대응하는 새로운 심층 임베딩 방법을 제안합니다. D-Rep은 최첨단 확산 모델 (안정된 확산 V1.5)을 사용하여 40,000개의 이미지-복제 쌍을 생성하며, 이들은 0(복제 없음)부터 5(완전 복제)까지의 6가지 복제 수준으로 수동으로 주석이 달렸습니다. 우리의 방법인 PDF-임베딩은 각 이미지-복제 쌍의 복제 수준을 확률 밀도 함수 (PDF)로 변환하여 지도 신호로 사용합니다. 이 아이디어는 이웃하는 복제 수준의 확률이 연속적이고 부드러워야 한다는 것입니다. 실험 결과는 PDF-임베딩이 D-Rep 테스트 세트에서 프로토콜 주도 방법과 비-PDF 선택지를 능가함을 보여줍니다. 또한 PDF-임베딩을 활용함으로써, 잘 알려진 확산 모델의 복제 비율이 오픈 소스 갤러리에 대해 10%에서 20% 범위 내에 있음을 발견했습니다.

English

Images produced by diffusion models are increasingly popular in digital artwork and visual marketing. However, such generated images might replicate content from existing ones and pose the challenge of content originality. Existing Image Copy Detection (ICD) models, though accurate in detecting hand-crafted replicas, overlook the challenge from diffusion models. This motivates us to introduce ICDiff, the first ICD specialized for diffusion models. To this end, we construct a Diffusion-Replication (D-Rep) dataset and correspondingly propose a novel deep embedding method. D-Rep uses a state-of-the-art diffusion model (Stable Diffusion V1.5) to generate 40, 000 image-replica pairs, which are manually annotated into 6 replication levels ranging from 0 (no replication) to 5 (total replication). Our method, PDF-Embedding, transforms the replication level of each image-replica pair into a probability density function (PDF) as the supervision signal. The intuition is that the probability of neighboring replication levels should be continuous and smooth. Experimental results show that PDF-Embedding surpasses protocol-driven methods and non-PDF choices on the D-Rep test set. Moreover, by utilizing PDF-Embedding, we find that the replication ratios of well-known diffusion models against an open-source gallery range from 10% to 20%.