Recurrent Early Exits for Federated Learning with Heterogeneous Clients

要約

フェデレーテッド ラーニング (FL) により、プライバシーを保護しながら複数のクライアントにわたるモデルの分散学習が可能になりました。
FL の主な課題の 1 つは、さまざまなハードウェア容量を持つクライアントに対応することです。
クライアントのコンピューティング要件とメモリ要件は異なります。
この課題に取り組むために、最近の最先端のアプローチでは早期イグジットの使用が活用されています。
それにもかかわらず、これらのアプローチは、複数の出口分類器の共同学習の課題を軽減するには至っておらず、多くの場合、分類器間の知識の蒸留のために厳選されたヒューリスティック ソリューションに依存したり、より弱い分類器に追加の層を利用したりしています。
この研究では、複数の分類子を利用する代わりに、異なるサブモデルの特徴を 1 つの共有分類子に融合する、ReeFL と呼ばれる反復早期終了アプローチを提案します。
具体的には、サブモデル間で共有されるトランスフォーマーベースの早期終了モジュールを使用して、i) タスク固有の予測のために多層特徴表現をより適切に活用し、ii) 後続の予測のためにバックボーン モデルの特徴表現を調整します。
さらに、各クライアントで最適なサブモデルが他のサブモデルの教師として自動的に選択される、クライアントごとの自己蒸留アプローチも紹介します。
さまざまな新たなフェデレーテッド微調整ベースラインにわたる標準的な画像および音声分類ベンチマークに関する私たちの実験は、以前の研究に対する ReeFL の有効性を実証しています。

要約(オリジナル)

Federated learning (FL) has enabled distributed learning of a model across multiple clients in a privacy-preserving manner. One of the main challenges of FL is to accommodate clients with varying hardware capacities; clients have differing compute and memory requirements. To tackle this challenge, recent state-of-the-art approaches leverage the use of early exits. Nonetheless, these approaches fall short of mitigating the challenges of joint learning multiple exit classifiers, often relying on hand-picked heuristic solutions for knowledge distillation among classifiers and/or utilizing additional layers for weaker classifiers. In this work, instead of utilizing multiple classifiers, we propose a recurrent early exit approach named ReeFL that fuses features from different sub-models into a single shared classifier. Specifically, we use a transformer-based early-exit module shared among sub-models to i) better exploit multi-layer feature representations for task-specific prediction and ii) modulate the feature representation of the backbone model for subsequent predictions. We additionally present a per-client self-distillation approach where the best sub-model is automatically selected as the teacher of the other sub-models at each client. Our experiments on standard image and speech classification benchmarks across various emerging federated fine-tuning baselines demonstrate ReeFL’s effectiveness over previous works.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google