TurboSVM-FL: Boosting Federated Learning through SVM Aggregation for Lazy Clients

要約

フェデレーテッド ラーニングは、近年大きな勢いを増している分散型協調機械学習パラダイムです。
フェデレーテッド ラーニングでは、中央サーバーが定期的にモデルをクライアントと調整し、ローカル データにアクセスすることなく、クライアントによってローカルでトレーニングされたモデルを集約します。
その可能性にもかかわらず、フェデレーテッド ラーニングの実装には引き続きいくつかの課題があり、主にデータの異質性が原因で収束が遅いことが挙げられます。
収束の遅さは、クライアントがコンピューティング能力とストレージ スペースによって大幅に制限される可能性があるクロスデバイスのフェデレーテッド ラーニング シナリオで特に問題となり、そのため、補助的な目的語やより大きなトレーニング反復など、クライアント側で追加の計算やメモリ コストを誘発する手法に対抗できる場合があります。
非現実的になる可能性があります。
このペーパーでは、クライアント側に追加の計算負担を課さず、特にクライアントが「怠惰」で、少数のユーザーに対してのみモデルをトレーニングする場合に、フェデレーテッド分類タスクの収束を大幅に加速できる、新しいフェデレーテッド集約戦略である TurboSVM-FL を提案します。
次のグローバル集約のエポック。
TurboSVM-FL は、サポート ベクター マシンを広範囲に利用して、クラスの埋め込みに対して選択的集約と最大マージン スプレッドアウト正則化を実行します。
非 IID データ分散によるユーザー独立検証を使用して、FEMNIST、CelebA、Shakespeare を含む複数のデータセットで TurboSVM-FL を評価します。
私たちの結果は、TurboSVM-FL が収束率に関して既存の一般的なアルゴリズムを大幅に上回り、通信ラウンドを削減しながら、精度、F1 スコア、MCC などのより優れたテスト指標を提供できることを示しています。

要約(オリジナル)

Federated learning is a distributed collaborative machine learning paradigm that has gained strong momentum in recent years. In federated learning, a central server periodically coordinates models with clients and aggregates the models trained locally by clients without necessitating access to local data. Despite its potential, the implementation of federated learning continues to encounter several challenges, predominantly the slow convergence that is largely due to data heterogeneity. The slow convergence becomes particularly problematic in cross-device federated learning scenarios where clients may be strongly limited by computing power and storage space, and hence counteracting methods that induce additional computation or memory cost on the client side such as auxiliary objective terms and larger training iterations can be impractical. In this paper, we propose a novel federated aggregation strategy, TurboSVM-FL, that poses no additional computation burden on the client side and can significantly accelerate convergence for federated classification task, especially when clients are ‘lazy’ and train their models solely for few epochs for next global aggregation. TurboSVM-FL extensively utilizes support vector machine to conduct selective aggregation and max-margin spread-out regularization on class embeddings. We evaluate TurboSVM-FL on multiple datasets including FEMNIST, CelebA, and Shakespeare using user-independent validation with non-iid data distribution. Our results show that TurboSVM-FL can significantly outperform existing popular algorithms on convergence rate and reduce communication rounds while delivering better test metrics including accuracy, F1 score, and MCC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google