Vertical Federated Learning: Challenges, Methodologies and Experiments

要約

最近、フェデレーテッド ラーニング (FL) が、エンドユーザー デバイスの計算能力とセンシング能力の進歩により、有望な分散機械学習 (ML) テクノロジーとして浮上していますが、ユーザーのプライバシーに対する懸念も高まっています。
FL の特殊なアーキテクチャとして、垂直 FL (VFL) は、さまざまなクライアントのサブモデルを受け入れることによってハイパー ML モデルを構築できます。
これらのサブモデルは、個別の属性を持つ垂直方向に分割されたデータによってローカルにトレーニングされます。
したがって、VFL の設計は従来の FL とは根本的に異なり、新たなユニークな研究課題が生じています。
このペーパーでは、VFL の主要な課題と効果的な解決策について説明し、これらの問題を明らかにするために実際のデータセットで実験を行うことを目的としています。
具体的には、まず VFL に関する一般的な枠組みを提案し、VFL と従来の FL の主な違いを強調します。
次に、セキュリティとプライバシーのリスク、高価な計算と通信のコスト、モデルの分割によって引き起こされる可能性のある構造的損傷、およびシステムの異質性という 4 つの側面に基づいて、VFL システムに根ざした研究課題について議論します。
その後、前述の課題に対処するソリューションを開発し、提案したソリューションの有効性を示すために広範な実験を実施します。

要約(オリジナル)

Recently, federated learning (FL) has emerged as a promising distributed machine learning (ML) technology, owing to the advancing computational and sensing capacities of end-user devices, however with the increasing concerns on users’ privacy. As a special architecture in FL, vertical FL (VFL) is capable of constructing a hyper ML model by embracing sub-models from different clients. These sub-models are trained locally by vertically partitioned data with distinct attributes. Therefore, the design of VFL is fundamentally different from that of conventional FL, raising new and unique research issues. In this paper, we aim to discuss key challenges in VFL with effective solutions, and conduct experiments on real-life datasets to shed light on these issues. Specifically, we first propose a general framework on VFL, and highlight the key differences between VFL and conventional FL. Then, we discuss research challenges rooted in VFL systems under four aspects, i.e., security and privacy risks, expensive computation and communication costs, possible structural damage caused by model splitting, and system heterogeneity. Afterwards, we develop solutions to addressing the aforementioned challenges, and conduct extensive experiments to showcase the effectiveness of our proposed solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google