Secure Vertical Federated Learning Under Unreliable Connectivity

要約

プライバシーを保護するフェデレーテッド ラーニング (FL) のほとんどの研究は、クライアントが同じ特徴を保持し、完全なクライアント レベルのモデルを個別にトレーニングする、水平方向に分割されたデータセットに焦点を当ててきました。
ただし、垂直 FL (VFL) 設定では、個々のデータ ポイントがクライアントと呼ばれるさまざまな機関に分散していることがよくあります。
このカテゴリの FL に対処するには、参加者間で中間出力と勾配を交換する必要があり、その結果、潜在的なプライバシー漏洩のリスクと収束速度の低下が生じます。
さらに、現実世界の多くのシナリオでは、VFL トレーニングはクライアントの落伍者や脱落者という深刻な問題にも直面しています。これはトレーニング プロセスを大きく妨げる可能性がある深刻な課題ですが、既存の研究ではほとんど見落とされてきました。
この研究では、最も一般化された垂直フレームワークをサポートできる、初のドロップアウト耐性 VFL プロトコルである vFedSec を紹介します。
革新的なセキュアレイヤーと埋め込みパディング技術を併用することで、安全かつ効率的なモデルトレーニングを実現します。
私たちは、トレーニングのパフォーマンスを維持しながら、設計が強化されたセキュリティを達成することを理論的に証明します。
広範な実験による経験的結果も、vFedSec がクライアントのドロップアウトに対して堅牢であり、無視できる計算と通信のオーバーヘッドで安全なトレーニングを提供することを示しています。
広く採用されている準同型暗号化 (HE) 方式と比較して、当社のアプローチは 690 倍を超える驚異的な高速化を達成し、通信コストを 9.6 倍以上大幅に削減します。

要約(オリジナル)

Most work in privacy-preserving federated learning (FL) has focused on horizontally partitioned datasets where clients hold the same features and train complete client-level models independently. However, individual data points are often scattered across different institutions, known as clients, in vertical FL (VFL) settings. Addressing this category of FL necessitates the exchange of intermediate outputs and gradients among participants, resulting in potential privacy leakage risks and slow convergence rates. Additionally, in many real-world scenarios, VFL training also faces the acute issue of client stragglers and drop-outs, a serious challenge that can significantly hinder the training process but has been largely overlooked in existing studies. In this work, we present vFedSec, a first dropout-tolerant VFL protocol, which can support the most generalized vertical framework. It achieves secure and efficient model training by using an innovative Secure Layer alongside an embedding-padding technique. We provide theoretical proof that our design attains enhanced security while maintaining training performance. Empirical results from extensive experiments also demonstrate vFedSec is robust to client dropout and provides secure training with negligible computation and communication overhead. Compared to widely adopted homomorphic encryption (HE) methods, our approach achieves a remarkable > 690x speedup and reduces communication costs significantly by > 9.6x.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google