CaBaFL: Asynchronous Federated Learning via Hierarchical Cache and Feature Balance

要約

フェデレーション ラーニング (FL) は、有望な分散機械学習パラダイムとして、モノの人工知能 (AIoT) アプリケーションに広く採用されています。
ただし、FL の効率と推論能力は、大規模な AIoT デバイス間でのストラグラーの存在とデータの不均衡により、それぞれ著しく制限されています。
上記の課題に対処するために、階層的なキャッシュベースの集約メカニズムと機能バランスに基づくデバイス選択戦略を含む、CaBaFL と呼ばれる新しい非同期 FL アプローチを提案します。
CaBaFL は、ローカル トレーニング用に複数の中間モデルを同時に維持します。
階層型キャッシュベースの集約メカニズムにより、各中間モデルを複数のデバイスでトレーニングしてトレーニング時間を調整し、ストラグラーの問題を軽減できます。
具体的には、各中間モデルはローカル トレーニングのために低レベル キャッシュに保存され、十分なローカル デバイスによってトレーニングされると、集約のために高レベル キャッシュに保存されます。
データの不均衡の問題に対処するために、CaBaFL の機能バランスに基づいたデバイス選択戦略では、アクティベーション分布をメトリクスとして採用します。これにより、集約前に完全にバランスの取れたデータ分布でデバイス間で各中間モデルをトレーニングできるようになります。
実験結果は、最先端の FL メソッドと比較して、CaBaFL が最大 9.26 倍のトレーニング加速と 19.71% の精度向上を達成することを示しています。

要約(オリジナル)

Federated Learning (FL) as a promising distributed machine learning paradigm has been widely adopted in Artificial Intelligence of Things (AIoT) applications. However, the efficiency and inference capability of FL is seriously limited due to the presence of stragglers and data imbalance across massive AIoT devices, respectively. To address the above challenges, we present a novel asynchronous FL approach named CaBaFL, which includes a hierarchical Cache-based aggregation mechanism and a feature Balance-guided device selection strategy. CaBaFL maintains multiple intermediate models simultaneously for local training. The hierarchical cache-based aggregation mechanism enables each intermediate model to be trained on multiple devices to align the training time and mitigate the straggler issue. In specific, each intermediate model is stored in a low-level cache for local training and when it is trained by sufficient local devices, it will be stored in a high-level cache for aggregation. To address the problem of imbalanced data, the feature balance-guided device selection strategy in CaBaFL adopts the activation distribution as a metric, which enables each intermediate model to be trained across devices with totally balanced data distributions before aggregation. Experimental results show that compared with the state-of-the-art FL methods, CaBaFL achieves up to 9.26X training acceleration and 19.71\% accuracy improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google