Privacy-aware Berrut Approximated Coded Computing for Federated Learning

要約

Federated Learning (FL) は、プライベート データセットを明らかにすることなく、さまざまなデータ所有者間で AI モデルの共同トレーニングを可能にする興味深い戦略です。
それでも、フロリダ州にはプライバシーの脆弱性がいくつかあり、差分プライバシー (DP)、準同型暗号化 (HE)、または安全なマルチパーティ コンピューテーション (SMPC) などの技術を適用することで克服が試みられています。
ただし、これらの技術には、適用範囲を狭める可能性がある重要な欠点がいくつかあります。それは、非線形関数の操作や大規模な行列乗算の操作、半正直なノードを管理するための高い通信コストと計算コストです。
これに関連して、前述の問題を同時に解決する、FL スキームのプライバシーを保証するソリューションを提案します。
私たちの提案は、コード化分散コンピューティング パラダイムの技術である Berrut 近似コード化コンピューティングに基づいており、秘密共有構成に適応して、スケーラブルな方法で入力プライバシーを FL に提供します。
これは、非線形関数の計算に適用でき、多くの自動学習タスクの中核となる重要なプリミティブである分散行列乗算の特殊なケースを処理します。
これらの特性により、FL スキームで使用される機械学習モデルや集計アルゴリズムから独立しているため、幅広い FL シナリオに適用できます。
私たちは、達成されたプライバシーとソリューションの複雑さの分析を提供します。実行された広範な数値結果により、プライバシーと精度の間の適切なトレードオフが観察されます。

要約(オリジナル)

Federated Learning (FL) is an interesting strategy that enables the collaborative training of an AI model among different data owners without revealing their private datasets. Even so, FL has some privacy vulnerabilities that have been tried to be overcome by applying some techniques like Differential Privacy (DP), Homomorphic Encryption (HE), or Secure Multi-Party Computation (SMPC). However, these techniques have some important drawbacks that might narrow their range of application: problems to work with non-linear functions and to operate large matrix multiplications and high communication and computational costs to manage semi-honest nodes. In this context, we propose a solution to guarantee privacy in FL schemes that simultaneously solves the previously mentioned problems. Our proposal is based on the Berrut Approximated Coded Computing, a technique from the Coded Distributed Computing paradigm, adapted to a Secret Sharing configuration, to provide input privacy to FL in a scalable way. It can be applied for computing non-linear functions and treats the special case of distributed matrix multiplication, a key primitive at the core of many automated learning tasks. Because of these characteristics, it could be applied in a wide range of FL scenarios, since it is independent of the machine learning models or aggregation algorithms used in the FL scheme. We provide analysis of the achieved privacy and complexity of our solution and, due to the extensive numerical results performed, a good trade-off between privacy and precision can be observed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google