Decoupled Vertical Federated Learning for Practical Training on Vertically Partitioned Data

要約

垂直フェデレーテッド ラーニング (VFL) は、共通のエンティティ セットの互いに素な特徴の所有者がデータを共有せずに協力してグローバル モデルを学習する、新興の分散型機械学習パラダイムです。
VFL では、ホスト クライアントは各エンティティのデータ ラベルを所有し、すべてのゲスト クライアントからの中間ローカル表現に基づいて最終的な表現を学習します。
したがって、ホストが単一障害点となり、悪意のあるゲスト クライアントがラベル フィードバックを使用してプライベート機能を推測する可能性があります。
トレーニング プロセス全体を通じて、すべての参加者にアクティブで信頼できる状態を維持することを要求することは一般に非現実的であり、管理された環境の外ではまったく実行不可能です。
我々は、VFL へのブロック単位の学習アプローチである分離 VFL (DVFL) を提案します。
DVFL は、それぞれの目的に基づいて各モデルをトレーニングすることにより、分散型の集約と、特徴学習とラベル監視の間の分離を可能にします。
これらの特性により、DVFL はフォールト トレラントで安全です。
分割ニューラル ネットワークをトレーニングするために DVFL を実装し、さまざまな分類データセットでモデルのパフォーマンスが VFL に匹敵することを示します。

要約(オリジナル)

Vertical Federated Learning (VFL) is an emergent distributed machine learning paradigm wherein owners of disjoint features of a common set of entities collaborate to learn a global model without sharing data. In VFL, a host client owns data labels for each entity and learns a final representation based on intermediate local representations from all guest clients. Therefore, the host is a single point of failure and label feedback can be used by malicious guest clients to infer private features. Requiring all participants to remain active and trustworthy throughout the entire training process is generally impractical and altogether infeasible outside of controlled environments. We propose Decoupled VFL (DVFL), a blockwise learning approach to VFL. By training each model on its own objective, DVFL allows for decentralized aggregation and isolation between feature learning and label supervision. With these properties, DVFL is fault tolerant and secure. We implement DVFL to train split neural networks and show that model performance is comparable to VFL on a variety of classification datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google