Rethinking the Starting Point: Collaborative Pre-Training for Federated Downstream Tasks

要約

最近のいくつかの研究では、中央で事前トレーニングされたモデルを活用すると、フェデレーテッド ラーニング (FL) に有利な初期化を提供できることが実証されています。
ただし、既存の事前トレーニング方法は、任意のダウンストリーム FL タスクのセットに直面した場合、うまく一般化できません。
具体的には、(i) 特に目に見えない下流ラベルがある場合に達成される平均精度が限られ、(ii) 精度に大きなばらつきが生じ、クライアント間でバランスのとれたパフォーマンスを提供できないことがよくあります。
これらの課題に対処するために、下流の FL タスクに堅牢な初期化を提供する共同/分散型事前トレーニング アプローチである CoPreFL を提案します。
CoPreFL の重要なアイデアは、異種混合の未知の FL シナリオを厳密に模倣するようにグローバル モデルを調整するモデル非依存メタ学習 (MAML) 手順です。その結果、任意の FL タスクに迅速に適応できる事前トレーニング済みモデルが得られます。
当社の MAML 手順では、パフォーマンスの差異をメタ目的関数に組み込み、精度のみを最適化するのではなく、クライアント間でパフォーマンスのバランスをとります。
広範な実験を通じて、CoPreFL は、さまざまな事前トレーニング ベースラインと比較して、見えない/見えるラベルを持つ任意の下流 FL タスク全体で平均精度と分散の両方が大幅に向上することを実証しました。
また、CoPreFL がダウンストリーム タスクによって適用されるさまざまな既知の FL アルゴリズムとどのように互換性があり、それぞれのケースでパフォーマンスを向上させるかを示します。

要約(オリジナル)

A few recent studies have demonstrated that leveraging centrally pre-trained models can offer advantageous initializations for federated learning (FL). However, existing pre-training methods do not generalize well when faced with an arbitrary set of downstream FL tasks. Specifically, they often (i) achieve limited average accuracy, particularly when there are unseen downstream labels, and (ii) result in significant accuracy variance, failing to provide a balanced performance across clients. To address these challenges, we propose CoPreFL, a collaborative/distributed pre-training approach which provides a robust initialization for downstream FL tasks. The key idea of CoPreFL is a model-agnostic meta-learning (MAML) procedure that tailors the global model to closely mimic heterogeneous and unseen FL scenarios, resulting in a pre-trained model that is rapidly adaptable to arbitrary FL tasks. Our MAML procedure incorporates performance variance into the meta-objective function, balancing performance across clients rather than solely optimizing for accuracy. Through extensive experiments, we demonstrate that CoPreFL obtains significant improvements in both average accuracy and variance across arbitrary downstream FL tasks with unseen/seen labels, compared with various pre-training baselines. We also show how CoPreFL is compatible with different well-known FL algorithms applied by the downstream tasks, enhancing performance in each case.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google