Secure and Fast Asynchronous Vertical Federated Learning via Cascaded Hybrid Optimization

要約

垂直フェデレーテッド ラーニング (VFL) は、複数の当事者が垂直に分割されたデータに対してプライバシー保護モデルを共同でトレーニングできるため、ますます注目を集めています。
最近の研究では、ゼロ次最適化 (ZOO) を適用すると、実用的な VFL アルゴリズムを構築する際に多くの利点があることが示されています。
ただし、ZOO ベースの VFL の重大な問題は、収束速度が遅いことであり、最新の大規模モデルを処理する際の適用が制限されます。
この問題に対処するために、VFL でのカスケード ハイブリッド最適化手法を提案します。
この方法では、下流モデル (クライアント) が ZOO でトレーニングされてプライバシーが保護され、内部情報が共有されないようにします。
一方、上流のモデル (サーバー) は一次最適化 (FOO) を使用してローカルで更新されるため、収束率が大幅に向上し、プライバシーとセキュリティを犠牲にすることなく大規模なモデルをトレーニングすることが可能になります。
私たちの VFL フレームワークは、ZOO ベースの VFL よりも速く収束することが理論的に証明されています。これは、フレームワークの収束がサーバー モデルのサイズによって制限されないため、サーバー上の主要部分で大規模なモデルをトレーニングするのに効果的であるためです。
広範な実験により、私たちの方法は同等レベルのプライバシー保護を維持しながら、ZOO ベースの VFL フレームワークよりも高速な収束を達成することが実証されました。
さらに、VFL の収束が安全でない FOO ベースの VFL ベースラインと同等であることを示します。
さらに、私たちの方法により大規模なモデルのトレーニングが可能になることを示します。

要約(オリジナル)

Vertical Federated Learning (VFL) attracts increasing attention because it empowers multiple parties to jointly train a privacy-preserving model over vertically partitioned data. Recent research has shown that applying zeroth-order optimization (ZOO) has many advantages in building a practical VFL algorithm. However, a vital problem with the ZOO-based VFL is its slow convergence rate, which limits its application in handling modern large models. To address this problem, we propose a cascaded hybrid optimization method in VFL. In this method, the downstream models (clients) are trained with ZOO to protect privacy and ensure that no internal information is shared. Meanwhile, the upstream model (server) is updated with first-order optimization (FOO) locally, which significantly improves the convergence rate, making it feasible to train the large models without compromising privacy and security. We theoretically prove that our VFL framework converges faster than the ZOO-based VFL, as the convergence of our framework is not limited by the size of the server model, making it effective for training large models with the major part on the server. Extensive experiments demonstrate that our method achieves faster convergence than the ZOO-based VFL framework, while maintaining an equivalent level of privacy protection. Moreover, we show that the convergence of our VFL is comparable to the unsafe FOO-based VFL baseline. Additionally, we demonstrate that our method makes the training of a large model feasible.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google