FedNC: A Secure and Efficient Federated Learning Method Inspired by Network Coding

要約

タイトル：ネットワークコーディングに触発された安全で効率的な分散学習手法であるFedNC

要約：
– 分散学習は有望な学習メカニズムだが、プライバシー侵害とシステム効率の2つの課題に直面している。
– 本論文では、ネットワーク情報理論の観点からFLシステムを再構築し、ネットワークコーディングに触発されたオリジナルのFL通信フレームワーク、FedNCを作成することを提案する。
– FedNCの主なアイデアは、ローカルモデルの情報を、元のパケットのランダムな線形結合によって混在させ、さらに集約する前に上積みすることである。
– コーディングスキームの利点により、理論的および実験的な分析の両方で、FedNCはセキュリティ、スループット、堅牢性など、いくつかの重要な点で従来のFLの性能を向上させることが示されている。
– 著者らの知る限りでは、NCがFLに導入された最初のフレームワークである。
– FLが実用的なネットワークフレームワーク内でさらに進化するにつれて、FedNCに基づいたより多くのアプリケーションやバリアントを設計することが可能となる。

要約(オリジナル)

Federated Learning (FL) is a promising distributed learning mechanism which still faces two major challenges, namely privacy breaches and system efficiency. In this work, we reconceptualize the FL system from the perspective of network information theory, and formulate an original FL communication framework, FedNC, which is inspired by Network Coding (NC). The main idea of FedNC is mixing the information of the local models by making random linear combinations of the original packets, before uploading for further aggregation. Due to the benefits of the coding scheme, both theoretical and experimental analysis indicate that FedNC improves the performance of traditional FL in several important ways, including security, throughput, and robustness. To the best of our knowledge, this is the first framework where NC is introduced in FL. As FL continues to evolve within practical network frameworks, more applications and variants can be further designed based on FedNC.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI