그라디언트 역전 공격에 대응하는 새로운 연합 학습 프레임워크

A New Federated Learning Framework Against Gradient Inversion Attacks

December 10, 2024

저자: Pengxin Guo, Shuang Zeng, Wenhao Chen, Xiaodan Zhang, Weihong Ren, Yuyin Zhou, Liangqiong Qu

cs.AI

초록

페더레이티드 러닝(Federated Learning, FL)은 클라이언트가 원본 데이터를 공유하지 않고 기계 학습 모델을 공동으로 학습할 수 있도록 함으로써 데이터 개인 정보 보호를 목표로 합니다. 그러나 최근 연구에 따르면 FL 중에 교환되는 정보는 그라디언트 역전 공격(Gradient Inversion Attacks, GIA)의 대상이 되며, 이에 따라 SMC(Secure Multi-party Computing), HE(Homomorphic Encryption), DP(Differential Privacy)와 같은 다양한 개인 정보 보호 방법이 FL에 통합되어 이러한 공격을 방어하고 있습니다. 데이터 개인 정보를 보호할 수 있는 능력에도 불구하고, 이러한 방법들은 본질적으로 상당한 개인 정보-유틸리티 교환을 수반합니다. GIA 하에 FL에서 개인 정보 노출의 핵심인 모델 그라디언트의 빈번한 공유에 다시 주목함으로써, 우리는 공유된 매개변수와 지역 개인 데이터 사이의 "직접적인 연결을 끊는" 효과적인 개인 정보 보호 FL 프레임워크를 설계함으로써 새로운 시각을 제시합니다. 구체적으로, 우리는 하이퍼네트워크를 활용하여 지역 모델의 매개변수를 생성하고, 오직 하이퍼네트워크 매개변수만이 집계를 위해 서버로 업로드되는 Hypernetwork Federated Learning(HyperFL) 프레임워크를 제안합니다. 이러한 HyperFL의 수렴 속도를 이론적으로 분석하고, 광범위한 실험 결과는 HyperFL의 개인 정보 보호 능력과 비교 가능한 성능을 보여줍니다. 코드는 https://github.com/Pengxin-Guo/HyperFL에서 확인할 수 있습니다.

English

Federated Learning (FL) aims to protect data privacy by enabling clients to collectively train machine learning models without sharing their raw data. However, recent studies demonstrate that information exchanged during FL is subject to Gradient Inversion Attacks (GIA) and, consequently, a variety of privacy-preserving methods have been integrated into FL to thwart such attacks, such as Secure Multi-party Computing (SMC), Homomorphic Encryption (HE), and Differential Privacy (DP). Despite their ability to protect data privacy, these approaches inherently involve substantial privacy-utility trade-offs. By revisiting the key to privacy exposure in FL under GIA, which lies in the frequent sharing of model gradients that contain private data, we take a new perspective by designing a novel privacy preserve FL framework that effectively ``breaks the direct connection'' between the shared parameters and the local private data to defend against GIA. Specifically, we propose a Hypernetwork Federated Learning (HyperFL) framework that utilizes hypernetworks to generate the parameters of the local model and only the hypernetwork parameters are uploaded to the server for aggregation. Theoretical analyses demonstrate the convergence rate of the proposed HyperFL, while extensive experimental results show the privacy-preserving capability and comparable performance of HyperFL. Code is available at https://github.com/Pengxin-Guo/HyperFL.