FedRand: Enhancing Privacy in Federated Learning with Randomized LoRA Subparameter Updates

要約

Federated Learning（FL）は、分散型の方法でモデルをトレーニングするための広く使用されているフレームワークであり、中央サーバーがローカルクライアントからのデータに直接アクセスできないようにします。
ただし、地元のクライアントからのモデルが集約プロセス中に中央サーバーにさらされるため、このアプローチはまだデータプライバシーを完全に維持できない可能性があります。
VLMはトレーニングデータインスタンスを簡単に記憶し、メンバーシップ推論攻撃（MIA）に対して脆弱になるため、FLでビジョン言語モデル（VLMS）をトレーニングすると、この問題がさらに重要になります。
この課題に対処するために、クライアントパラメーターの完全なセットの開示を避けるFedrandフレームワークを提案します。
このフレームワークでは、各クライアントはサーバーから低ランク適応（LORA）のサブパラメーターをランダムに選択し、LORAウェイトの残りの対応物をプライベートパラメーターとして保持します。
クライアントのプライベートデータセットで両方のパラメーターをトレーニングした後、非プライベートクライアントパラメーターのみが集約のためにサーバーに送り返されます。
このアプローチは、クライアント側のVLMパラメーターを公開するリスクを軽減し、それによりデータプライバシーを強化します。
Fedrandは、関連するベースラインと比較してMIAに対する堅牢性を改善しながら、いくつかのベンチマークデータセットで完全なLORAパラメーターを通信する方法に匹敵する精度を達成することを経験的に検証します。

要約(オリジナル)

Federated Learning (FL) is a widely used framework for training models in a decentralized manner, ensuring that the central server does not have direct access to data from local clients. However, this approach may still fail to fully preserve data privacy, as models from local clients are exposed to the central server during the aggregation process. This issue becomes even more critical when training vision-language models (VLMs) with FL, as VLMs can easily memorize training data instances, making them vulnerable to membership inference attacks (MIAs). To address this challenge, we propose the FedRand framework, which avoids disclosing the full set of client parameters. In this framework, each client randomly selects subparameters of Low-Rank Adaptation (LoRA) from the server and keeps the remaining counterparts of the LoRA weights as private parameters. After training both parameters on the client’s private dataset, only the non-private client parameters are sent back to the server for aggregation. This approach mitigates the risk of exposing client-side VLM parameters, thereby enhancing data privacy. We empirically validate that FedRand improves robustness against MIAs compared to relevant baselines while achieving accuracy comparable to methods that communicate full LoRA parameters across several benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google