FedRand: Verbesserung der Privatsphäre im Federated Learning durch randomisierte LoRA-Subparameter-Aktualisierungen

FedRand: Enhancing Privacy in Federated Learning with Randomized LoRA Subparameter Updates

March 10, 2025

Autoren: Sangwoo Park, Seanie Lee, Byungjoo Kim, Sung Ju Hwang

cs.AI

Zusammenfassung

Federated Learning (FL) ist ein weit verbreitetes Framework für das Training von Modellen in dezentralisierter Weise, wobei sichergestellt wird, dass der zentrale Server keinen direkten Zugriff auf die Daten lokaler Clients hat. Dieser Ansatz kann jedoch den vollständigen Schutz der Datenprivatsphäre nicht gewährleisten, da die Modelle der lokalen Clients während des Aggregationsprozesses dem zentralen Server offengelegt werden. Dieses Problem wird noch kritischer, wenn Vision-Language-Modelle (VLMs) mit FL trainiert werden, da VLMs leicht Trainingsdateninstanzen memorieren können, was sie anfällig für Membership Inference Attacks (MIAs) macht. Um diese Herausforderung zu bewältigen, schlagen wir das FedRand-Framework vor, das die Offenlegung des vollständigen Satzes von Client-Parametern vermeidet. In diesem Framework wählt jeder Client zufällig Subparameter der Low-Rank Adaptation (LoRA) vom Server aus und behält die verbleibenden Gegenstücke der LoRA-Gewichte als private Parameter. Nachdem beide Parameter auf dem privaten Datensatz des Clients trainiert wurden, werden nur die nicht-privaten Client-Parameter zur Aggregation an den Server zurückgesendet. Dieser Ansatz verringert das Risiko, clientseitige VLM-Parameter offenzulegen, und verbessert so die Datenprivatsphäre. Wir validieren empirisch, dass FedRand im Vergleich zu relevanten Baselines die Robustheit gegen MIAs verbessert, während es eine Genauigkeit erreicht, die mit Methoden vergleichbar ist, die vollständige LoRA-Parameter über mehrere Benchmark-Datensätze hinweg kommunizieren.

English

Federated Learning (FL) is a widely used framework for training models in a decentralized manner, ensuring that the central server does not have direct access to data from local clients. However, this approach may still fail to fully preserve data privacy, as models from local clients are exposed to the central server during the aggregation process. This issue becomes even more critical when training vision-language models (VLMs) with FL, as VLMs can easily memorize training data instances, making them vulnerable to membership inference attacks (MIAs). To address this challenge, we propose the FedRand framework, which avoids disclosing the full set of client parameters. In this framework, each client randomly selects subparameters of Low-Rank Adaptation (LoRA) from the server and keeps the remaining counterparts of the LoRA weights as private parameters. After training both parameters on the client's private dataset, only the non-private client parameters are sent back to the server for aggregation. This approach mitigates the risk of exposing client-side VLM parameters, thereby enhancing data privacy. We empirically validate that FedRand improves robustness against MIAs compared to relevant baselines while achieving accuracy comparable to methods that communicate full LoRA parameters across several benchmark datasets.