편집하려 하면 내 얼굴은 그대로 남지 않을 것입니다: 악의적 생성 편집에 대한 개인 바이오메트릭 방어

Edit Away and My Face Will not Stay: Personal Biometric Defense against Malicious Generative Editing

November 25, 2024

저자: Hanhui Wang, Yihua Zhang, Ruizheng Bai, Yue Zhao, Sijia Liu, Zhengzhong Tu

cs.AI

초록

최근 확산 모델의 발전으로 생성적 이미지 편집이 보다 접근성이 높아져 창의적인 편집이 가능해지면서, 특히 인간 초상에 대한 악의적인 편집으로 인한 개인 정보 및 신원 보안 위협과 같은 윤리적 문제가 제기되고 있습니다. 기존의 보호 방법은 주로 적대적 왜곡을 활용하여 편집을 무효화하지만, 다양한 편집 요청에 대해 종종 실패합니다. 우리는 FaceLock이라는 초상 보호를 위한 혁신적인 접근 방식을 제안합니다. FaceLock은 적대적 왜곡을 최적화하여 바이오메트릭 정보를 파괴하거나 심각하게 변경함으로써, 편집된 출력물을 바이오메트릭으로 식별할 수 없게 만듭니다. FaceLock은 얼굴 인식과 시각 지각을 왜곡 최적화에 통합하여 다양한 편집 시도에 대한 강력한 보호를 제공합니다. 또한 일반적으로 사용되는 평가 지표의 결함을 강조하고, 이러한 평가 지표가 어떻게 조작될 수 있는지 밝혀 신뢰할 수 있는 보호 평가의 필요성을 강조합니다. 실험 결과 FaceLock이 악의적인 편집에 대한 방어에서 베이스라인을 능가하며 정화 기술에 대해 견고합니다. 제거 연구는 FaceLock의 안정성을 확인하고 확산 기반 편집 알고리즘 전반에 걸쳐 넓은 적용 가능성을 입증합니다. 우리의 연구는 바이오메트릭 방어를 발전시키고 이미지 편집에서 개인 정보 보호 관행을 위한 기초를 마련합니다. 코드는 다음에서 확인할 수 있습니다: https://github.com/taco-group/FaceLock.

English

Recent advancements in diffusion models have made generative image editing more accessible, enabling creative edits but raising ethical concerns, particularly regarding malicious edits to human portraits that threaten privacy and identity security. Existing protection methods primarily rely on adversarial perturbations to nullify edits but often fail against diverse editing requests. We propose FaceLock, a novel approach to portrait protection that optimizes adversarial perturbations to destroy or significantly alter biometric information, rendering edited outputs biometrically unrecognizable. FaceLock integrates facial recognition and visual perception into perturbation optimization to provide robust protection against various editing attempts. We also highlight flaws in commonly used evaluation metrics and reveal how they can be manipulated, emphasizing the need for reliable assessments of protection. Experiments show FaceLock outperforms baselines in defending against malicious edits and is robust against purification techniques. Ablation studies confirm its stability and broad applicability across diffusion-based editing algorithms. Our work advances biometric defense and sets the foundation for privacy-preserving practices in image editing. The code is available at: https://github.com/taco-group/FaceLock.