Un Nuovo Framework di Apprendimento Federato Contro gli Attacchi di Inversione del Gradiente

A New Federated Learning Framework Against Gradient Inversion Attacks

December 10, 2024

Autori: Pengxin Guo, Shuang Zeng, Wenhao Chen, Xiaodan Zhang, Weihong Ren, Yuyin Zhou, Liangqiong Qu

cs.AI

Abstract

Il Federated Learning (FL) mira a proteggere la privacy dei dati consentendo ai clienti di addestrare collettivamente modelli di machine learning senza condividere i dati grezzi. Tuttavia, recenti studi dimostrano che le informazioni scambiate durante il FL sono soggette agli Attacchi di Inversione del Gradiente (GIA) e, di conseguenza, una varietà di metodi per la protezione della privacy sono stati integrati nel FL per contrastare tali attacchi, come il Calcolo Sicuro tra Parti Multiple (SMC), la Crittografia Omomorfica (HE) e la Privacy Differenziale (DP). Nonostante la loro capacità di proteggere la privacy dei dati, questi approcci comportano intrinsecamente notevoli compromessi tra privacy e utilità. Rivedendo la chiave dell'esposizione della privacy nel FL sotto GIA, che risiede nella condivisione frequente dei gradienti del modello che contengono dati privati, adottiamo una nuova prospettiva progettando un nuovo framework FL per la preservazione della privacy che efficacemente "interrompe la connessione diretta" tra i parametri condivisi e i dati privati locali per difendersi dai GIA. In particolare, proponiamo un framework di Federated Learning con Hypernetwork (HyperFL) che utilizza iperreti per generare i parametri del modello locale e solo i parametri dell'iperrete vengono caricati sul server per l'aggregazione. Analisi teoriche dimostrano il tasso di convergenza del proposto HyperFL, mentre risultati sperimentali estesi mostrano la capacità di preservare la privacy e le prestazioni comparabili di HyperFL. Il codice è disponibile su https://github.com/Pengxin-Guo/HyperFL.

English

Federated Learning (FL) aims to protect data privacy by enabling clients to collectively train machine learning models without sharing their raw data. However, recent studies demonstrate that information exchanged during FL is subject to Gradient Inversion Attacks (GIA) and, consequently, a variety of privacy-preserving methods have been integrated into FL to thwart such attacks, such as Secure Multi-party Computing (SMC), Homomorphic Encryption (HE), and Differential Privacy (DP). Despite their ability to protect data privacy, these approaches inherently involve substantial privacy-utility trade-offs. By revisiting the key to privacy exposure in FL under GIA, which lies in the frequent sharing of model gradients that contain private data, we take a new perspective by designing a novel privacy preserve FL framework that effectively ``breaks the direct connection'' between the shared parameters and the local private data to defend against GIA. Specifically, we propose a Hypernetwork Federated Learning (HyperFL) framework that utilizes hypernetworks to generate the parameters of the local model and only the hypernetwork parameters are uploaded to the server for aggregation. Theoretical analyses demonstrate the convergence rate of the proposed HyperFL, while extensive experimental results show the privacy-preserving capability and comparable performance of HyperFL. Code is available at https://github.com/Pengxin-Guo/HyperFL.