Modifica e il mio volto non rimarrà: Difesa biometrica personale contro la modifica generativa maliziosa

Edit Away and My Face Will not Stay: Personal Biometric Defense against Malicious Generative Editing

November 25, 2024

Autori: Hanhui Wang, Yihua Zhang, Ruizheng Bai, Yue Zhao, Sijia Liu, Zhengzhong Tu

cs.AI

Abstract

Recenti progressi nei modelli di diffusione hanno reso l'editing generativo di immagini più accessibile, consentendo modifiche creative ma sollevando preoccupazioni etiche, in particolare riguardo a modifiche malintenzionate a ritratti umani che minacciano la privacy e la sicurezza dell'identità. I metodi di protezione esistenti si basano principalmente su perturbazioni avversarie per annullare le modifiche ma spesso falliscono contro richieste di editing diverse. Proponiamo FaceLock, un nuovo approccio alla protezione dei ritratti che ottimizza le perturbazioni avversarie per distruggere o alterare significativamente le informazioni biometriche, rendendo gli output modificati biometricamente irriconoscibili. FaceLock integra il riconoscimento facciale e la percezione visiva nell'ottimizzazione delle perturbazioni per fornire una protezione robusta contro vari tentativi di editing. Evidenziamo anche difetti nelle metriche di valutazione comunemente utilizzate e mostriamo come possano essere manipolate, sottolineando la necessità di valutazioni affidabili della protezione. Gli esperimenti mostrano che FaceLock supera i baselines nella difesa contro modifiche malintenzionate ed è robusto contro le tecniche di purificazione. Studi di ablazione confermano la sua stabilità e ampia applicabilità attraverso algoritmi di editing basati sulla diffusione. Il nostro lavoro fa progredire la difesa biometrica e getta le basi per pratiche di preservazione della privacy nell'editing di immagini. Il codice è disponibile su: https://github.com/taco-group/FaceLock.

English

Recent advancements in diffusion models have made generative image editing more accessible, enabling creative edits but raising ethical concerns, particularly regarding malicious edits to human portraits that threaten privacy and identity security. Existing protection methods primarily rely on adversarial perturbations to nullify edits but often fail against diverse editing requests. We propose FaceLock, a novel approach to portrait protection that optimizes adversarial perturbations to destroy or significantly alter biometric information, rendering edited outputs biometrically unrecognizable. FaceLock integrates facial recognition and visual perception into perturbation optimization to provide robust protection against various editing attempts. We also highlight flaws in commonly used evaluation metrics and reveal how they can be manipulated, emphasizing the need for reliable assessments of protection. Experiments show FaceLock outperforms baselines in defending against malicious edits and is robust against purification techniques. Ablation studies confirm its stability and broad applicability across diffusion-based editing algorithms. Our work advances biometric defense and sets the foundation for privacy-preserving practices in image editing. The code is available at: https://github.com/taco-group/FaceLock.