CoDream: Exchanging dreams instead of models for federated aggregation with heterogeneous models

要約

Federated Learning (FL) は、モデル パラメーターを集約することで、分散データ全体で機械学習モデルを協調的に最適化することを可能にします。
私たちのアプローチは、モデルのパラメーターではなく、モデルから得られる「知識」を集約することでこの概念を拡張します。
私たちは、CoDream と呼ばれる新しいフレームワークを紹介します。このフレームワークでは、FL でランダムに初期化されたモデル パラメーターが最適化される方法と同様に、クライアントが入力データ空間でフェデレーション最適化を使用して、ランダムに初期化されたデータを共同で最適化します。
私たちの重要な洞察は、このデータを共同最適化することで、グローバルなデータ分布の特性を効果的に捕捉できるということです。
データ空間で知識を共有すると、次のような多くの利点が得られます。(1) モデルに依存しない協調学習。つまり、異なるクライアントは異なるモデル アーキテクチャを持つことができます。
(2) モデルのサイズに依存しない通信により、モデルパラメータのスケーラビリティの問題が排除されます。
(3) 安全な集約との互換性により、フェデレーテッド ラーニングのプライバシー上の利点が維持されます。
(4) パーソナライズされた学習のために共有される知識の適応的な最適化が可能になります。
標準的な FL タスクで CoDream を経験的に検証し、モデル パラメーターを共有していないにもかかわらず、競争力のあるパフォーマンスを実証します。
コード: https://mitmedialab.github.io/codream.github.io/

要約(オリジナル)

Federated Learning (FL) enables collaborative optimization of machine learning models across decentralized data by aggregating model parameters. Our approach extends this concept by aggregating ‘knowledge’ derived from models, instead of model parameters. We present a novel framework called CoDream, where clients collaboratively optimize randomly initialized data using federated optimization in the input data space, similar to how randomly initialized model parameters are optimized in FL. Our key insight is that jointly optimizing this data can effectively capture the properties of the global data distribution. Sharing knowledge in data space offers numerous benefits: (1) model-agnostic collaborative learning, i.e., different clients can have different model architectures; (2) communication that is independent of the model size, eliminating scalability concerns with model parameters; (3) compatibility with secure aggregation, thus preserving the privacy benefits of federated learning; (4) allowing of adaptive optimization of knowledge shared for personalized learning. We empirically validate CoDream on standard FL tasks, demonstrating competitive performance despite not sharing model parameters. Our code: https://mitmedialab.github.io/codream.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google