Communication-Efficient Federated Learning Based on Explanation-Guided Pruning for Remote Sensing Image Classification

要約

Federated Learning（FL）は、クライアントのローカルデータを共有せずに中央サーバーとモデルの更新のみを交換することにより、複数のクライアントがグローバルモデルを共同で訓練する分散型機械学習パラダイムです。
クライアントとセントラルサーバー間で送信するために必要なモデルの更新の大量により、ほとんどのFLシステムは高い転送コスト（つまり、通信オーバーヘッド）に関連付けられています。
この問題は、特に大規模なRSデータが制限された通信帯域幅を備えたFLシステムを介して処理および分析される場合、リモートセンシング（RS）の運用アプリケーションにとってより重要です。
この問題に対処するために、RS画像分類のコンテキストで、コミュニケーション効率の高いFLの説明誘導剪定戦略を紹介します。
剪定戦略は、レイヤーごとの関連性伝播（LRP）駆動型説明に基づいて定義されます。
2）非情報のものを排除して、モデルの更新の量を最小限に抑えます。
BigeArthNet-S2データセットの実験結果は、グローバルモデルの一般化能力を向上させながら、共有モデルの更新の数を効果的に削減することを示しています。
この作業のコードは、https://git.tu-berlin.de/rsim/fl-lrpで公開されています。

要約(オリジナル)

Federated learning (FL) is a decentralized machine learning paradigm in which multiple clients collaboratively train a global model by exchanging only model updates with the central server without sharing the local data of the clients. Due to the large volume of model updates required to be transmitted between clients and the central server, most FL systems are associated with high transfer costs (i.e., communication overhead). This issue is more critical for operational applications in remote sensing (RS), especially when large-scale RS data is processed and analyzed through FL systems with restricted communication bandwidth. To address this issue, we introduce an explanation-guided pruning strategy for communication-efficient FL in the context of RS image classification. Our pruning strategy is defined based on the layer-wise relevance propagation (LRP) driven explanations to: 1) efficiently and effectively identify the most relevant and informative model parameters (to be exchanged between clients and the central server); and 2) eliminate the non-informative ones to minimize the volume of model updates. The experimental results on the BigEarthNet-S2 dataset demonstrate that our strategy effectively reduces the number of shared model updates, while increasing the generalization ability of the global model. The code of this work is publicly available at https://git.tu-berlin.de/rsim/FL-LRP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google