Stochastic Unrolled Federated Learning

要約

アルゴリズムのアンローリングは、トレーニング可能なニューラル ネットワーク オプティマイザーで切り捨てられた反復アルゴリズムを展開する学習ベースの最適化パラダイムとして登場しました。
アルゴリズムのアンローリングをフェデレーテッド ラーニング シナリオに拡張する手法である Stochastic UnRolled Federated Learning (SURF) を紹介します。
私たちが提案する方法は、この拡張の 2 つの課題、つまり、降下方向を見つけるためにアンロールされたオプティマイザーにデータセット全体をフィードする必要性と、フェデレーテッド ラーニングの分散型の性質に取り組んでいます。
前者の課題は、展開された各層に確率的ミニバッチを供給し、ミニバッチの使用によって引き起こされるランダム性を軽減する降下制約を課すことで回避します。
我々は、グラフ ニューラル ネットワーク (GNN) ベースのアンロール アーキテクチャで分散勾配降下法 (DGD) アルゴリズムを展開することで、後者の課題に対処します。これにより、フェデレーテッド ラーニングにおけるトレーニングの分散型の性質が維持されます。
私たちの提案するアンロール オプティマイザーが無限に頻繁に最適に近い領域に収束することを理論的に証明します。
広範な数値実験を通じて、画像分類器の共同トレーニングにおける提案されたフレームワークの有効性も実証します。

要約(オリジナル)

Algorithm unrolling has emerged as a learning-based optimization paradigm that unfolds truncated iterative algorithms in trainable neural-network optimizers. We introduce Stochastic UnRolled Federated learning (SURF), a method that expands algorithm unrolling to a federated learning scenario. Our proposed method tackles two challenges of this expansion, namely the need to feed whole datasets to the unrolled optimizers to find a descent direction and the decentralized nature of federated learning. We circumvent the former challenge by feeding stochastic mini-batches to each unrolled layer and imposing descent constraints to mitigate the randomness induced by using mini-batches. We address the latter challenge by unfolding the distributed gradient descent (DGD) algorithm in a graph neural network (GNN)-based unrolled architecture, which preserves the decentralized nature of training in federated learning. We theoretically prove that our proposed unrolled optimizer converges to a near-optimal region infinitely often. Through extensive numerical experiments, we also demonstrate the effectiveness of the proposed framework in collaborative training of image classifiers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google