이미지 편집에 대항하기 위해 생성적 사전을 활용한 견고한 워터마킹: 벤치마킹부터 발전까지

Robust Watermarking Using Generative Priors Against Image Editing: From Benchmarking to Advances

October 24, 2024

저자: Shilin Lu, Zihan Zhou, Jiayou Lu, Yuanzhi Zhu, Adams Wai-Kin Kong

cs.AI

초록

현재의 이미지 워터마킹 방법은 대규모 텍스트-이미지 모델에 의해 가능한 고급 이미지 편집 기술에 취약합니다. 이러한 모델은 편집 중에 포함된 워터마크를 왜곡시킬 수 있어 저작권 보호에 상당한 어려움을 야기합니다. 본 연구에서는 이미지 재생성, 전역 편집, 지역 편집 및 이미지-비디오 생성을 포함한 다양한 이미지 편집 기술에 대한 워터마킹 방법의 견고성을 평가하기 위해 설계된 첫 번째 종합적인 벤치마크인 W-Bench를 소개합니다. 주요 편집 기술에 대한 십일 가지 대표적인 워터마킹 방법의 철저한 평가를 통해 대부분의 방법이 이러한 편집 후 워터마크를 감지하지 못하는 것을 보여줍니다. 이 한계를 해결하기 위해 이미지 품질을 유지하면서 다양한 이미지 편집 기술에 대한 견고성을 크게 향상시키는 워터마킹 방법인 VINE을 제안합니다. 저희의 접근 방식은 두 가지 주요 혁신을 포함합니다: (1) 이미지 편집의 주파수 특성을 분석하고 흐림 왜곡이 유사한 주파수 특성을 나타내는 것을 확인하여 이를 훈련 중 대체 공격으로 사용하여 워터마크의 견고성을 강화하는 것입니다; (2) 대규모 사전 학습 확산 모델 SDXL-Turbo를 활용하여 워터마킹 작업에 적응시켜 더 자연스럽고 견고한 워터마크 삽입을 달성합니다. 실험 결과는 저희의 방법이 다양한 이미지 편집 기술에 대해 우수한 워터마킹 성능을 달성하며 이미지 품질과 견고성 모두에서 기존 방법을 능가한다는 것을 보여줍니다. 코드는 https://github.com/Shilin-LU/VINE에서 확인할 수 있습니다.

English

Current image watermarking methods are vulnerable to advanced image editing techniques enabled by large-scale text-to-image models. These models can distort embedded watermarks during editing, posing significant challenges to copyright protection. In this work, we introduce W-Bench, the first comprehensive benchmark designed to evaluate the robustness of watermarking methods against a wide range of image editing techniques, including image regeneration, global editing, local editing, and image-to-video generation. Through extensive evaluations of eleven representative watermarking methods against prevalent editing techniques, we demonstrate that most methods fail to detect watermarks after such edits. To address this limitation, we propose VINE, a watermarking method that significantly enhances robustness against various image editing techniques while maintaining high image quality. Our approach involves two key innovations: (1) we analyze the frequency characteristics of image editing and identify that blurring distortions exhibit similar frequency properties, which allows us to use them as surrogate attacks during training to bolster watermark robustness; (2) we leverage a large-scale pretrained diffusion model SDXL-Turbo, adapting it for the watermarking task to achieve more imperceptible and robust watermark embedding. Experimental results show that our method achieves outstanding watermarking performance under various image editing techniques, outperforming existing methods in both image quality and robustness. Code is available at https://github.com/Shilin-LU/VINE.