FLUE: Federated Learning with Un-Encrypted model weights

要約

Federated Learning を使用すると、トレーニング データをローカルに保存したまま、さまざまなデバイスが共有モデルを共同でトレーニングできるため、一元化されたクラウド ストレージが必要なくなります。
既存のプライバシー対策にもかかわらず、ノイズが追加された場合でも勾配のリバース エンジニアリングが行われ、プライベート データが暴露される可能性があるため懸念が生じます。
これに対処するために、最近の研究では、トレーニング中に暗号化されたモデル パラメーターを使用することが重要視されています。
この論文では、暗号化を行わずにコード化されたローカル勾配を活用し、モデル パラメーターのコード化されたプロキシを交換し、プライバシーを強化するために余剰ノイズを注入する、新しいフェデレーテッド ラーニング アルゴリズムを紹介します。
2 つのアルゴリズム バリアントが提示され、コーディング スキームと生データの特性に適応できる収束と学習率が示されています。
固定コーディング行列とランダムコーディング行列を使用した 2 つの暗号化を使用しない実装が提供されており、フェデレーテッド最適化と機械学習の両方の観点から有望なシミュレーション結果を示しています。

要約(オリジナル)

Federated Learning enables diverse devices to collaboratively train a shared model while keeping training data locally stored, avoiding the need for centralized cloud storage. Despite existing privacy measures, concerns arise from potential reverse engineering of gradients, even with added noise, revealing private data. To address this, recent research emphasizes using encrypted model parameters during training. This paper introduces a novel federated learning algorithm, leveraging coded local gradients without encryption, exchanging coded proxies for model parameters, and injecting surplus noise for enhanced privacy. Two algorithm variants are presented, showcasing convergence and learning rates adaptable to coding schemes and raw data characteristics. Two encryption-free implementations with fixed and random coding matrices are provided, demonstrating promising simulation results from both federated optimization and machine learning perspectives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google