Exploring the Privacy-Energy Consumption Tradeoff for Split Federated Learning

要約

Split Federated Learning (SFL) は、フェデレーテッド ラーニングと分割ラーニングの両方の長所を活用する、有望な分散学習テクノロジとして最近登場しました。
プライバシーの懸念に対処しながら、迅速な収束の利点を強調しています。
その結果、このイノベーションは産業界と学術界の両方から大きな注目を集めています。
ただし、モデルはカット レイヤーと呼ばれる特定のレイヤーで SFL のクライアント側モデルとサーバー側モデルの両方に分割されるため、SFL でのカット レイヤーの選択は、SFL のエネルギー消費に大きな影響を与える可能性があります。
トレーニングの負担とクライアント側モデルの出力に影響を与えるため、クライアントとそのプライバシーに影響します。
さらに、カット レイヤを決定するという設計上の課題は、主にクライアントのコンピューティングおよびネットワーキング能力に固有の異質性があるため、非常に複雑です。
この記事では、SFL プロセスの包括的な概要を示し、エネルギー消費とプライバシーの徹底的な分析を実施します。
この解析では、切断層の選択戦略に対するさまざまなシステム パラメーターの影響が考慮されます。
さらに、必要なエネルギー バジェット内でエネルギー消費を維持しながら、クライアントがサーバーで生データを再構築するリスクを最小限に抑えることを目的として、カット レイヤの選択の実例を示しますが、これにはトレードオフが伴います。
最後に、この分野における未解決の課題に取り組みます。
これらの方向性は、将来の研究開発にとって有望な道筋を示しています。

要約(オリジナル)

Split Federated Learning (SFL) has recently emerged as a promising distributed learning technology, leveraging the strengths of both federated learning and split learning. It emphasizes the advantages of rapid convergence while addressing privacy concerns. As a result, this innovation has received significant attention from both industry and academia. However, since the model is split at a specific layer, known as a cut layer, into both client-side and server-side models for the SFL, the choice of the cut layer in SFL can have a substantial impact on the energy consumption of clients and their privacy, as it influences the training burden and the output of the client-side models. Moreover, the design challenge of determining the cut layer is highly intricate, primarily due to the inherent heterogeneity in the computing and networking capabilities of clients. In this article, we provide a comprehensive overview of the SFL process and conduct a thorough analysis of energy consumption and privacy. This analysis takes into account the influence of various system parameters on the cut layer selection strategy. Additionally, we provide an illustrative example of the cut layer selection, aiming to minimize the risk of clients from reconstructing the raw data at the server while sustaining energy consumption within the required energy budget, which involve trade-offs. Finally, we address open challenges in this field. These directions represent promising avenues for future research and development.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google