Federated Transformer: Multi-Party Vertical Federated Learning on Practical Fuzzily Linked Data

要約

Federated Learning (FL) は、生データを共有することなく、複数の当事者が協力してモデルをトレーニングできるようにする進化するパラダイムです。
そのバリエーションの中でも、垂直フェデレーテッド ラーニング (VFL) は、共有インスタンス グループの個別の機能がさまざまな関係者によって提供される、現実世界の組織を越えたコラボレーションに特に関連しています。
これらのシナリオでは、ファジー識別子を使用してパーティがリンクされることが多く、マルチパーティ ファジー VFL と呼ばれる一般的な慣行につながります。
既存のモデルは通常、マルチパーティ VFL または 2 パーティ間のファジー VFL のいずれかに対応します。
これらのモデルを実用的なマルチパーティ ファジー VFL に拡張すると、通常、パフォーマンスが大幅に低下し、プライバシーを維持するためのコストが増加します。
これらの制限を克服するために、ファジー識別子を使用してマルチパーティ VFL をサポートする新しいフレームワークである Federated Transformer (FeT) を導入します。
FeT は、これらの識別子をデータ表現に革新的にエンコードし、さまざまな関係者に分散されたトランスフォーマー アーキテクチャを採用し、パフォーマンスを向上させる 3 つの新しい技術を組み込んでいます。
さらに、差分プライバシーと安全なマルチパーティ計算を統合し、関連する光熱費を最小限に抑えながらローカル表現を効果的に保護する、VFL 用のマルチパーティ プライバシー フレームワークを開発しました。
私たちの実験では、50 パーティにスケールした場合、FeT が精度の点でベースライン モデルを最大 46\% 上回ることが実証されました。
さらに、2 パーティのファジー VFL 設定では、FeT は最先端の VFL モデルよりもパフォーマンスとプライバシーが向上しています。

要約(オリジナル)

Federated Learning (FL) is an evolving paradigm that enables multiple parties to collaboratively train models without sharing raw data. Among its variants, Vertical Federated Learning (VFL) is particularly relevant in real-world, cross-organizational collaborations, where distinct features of a shared instance group are contributed by different parties. In these scenarios, parties are often linked using fuzzy identifiers, leading to a common practice termed as multi-party fuzzy VFL. Existing models generally address either multi-party VFL or fuzzy VFL between two parties. Extending these models to practical multi-party fuzzy VFL typically results in significant performance degradation and increased costs for maintaining privacy. To overcome these limitations, we introduce the Federated Transformer (FeT), a novel framework that supports multi-party VFL with fuzzy identifiers. FeT innovatively encodes these identifiers into data representations and employs a transformer architecture distributed across different parties, incorporating three new techniques to enhance performance. Furthermore, we have developed a multi-party privacy framework for VFL that integrates differential privacy with secure multi-party computation, effectively protecting local representations while minimizing associated utility costs. Our experiments demonstrate that the FeT surpasses the baseline models by up to 46\% in terms of accuracy when scaled to 50 parties. Additionally, in two-party fuzzy VFL settings, FeT also shows improved performance and privacy over cutting-edge VFL models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google