Federated Impression for Learning with Distributed Heterogeneous Data

要約

標準的な深層学習ベースの分類アプローチは、すべてのサンプルを一元的に収集する必要があるため、現実の臨床アプリケーションでは必ずしも実用的であるとは限りません。
フェデレーテッド ラーニング (FL) は、クライアント間でデータを共有することなく分散データセットから学習できるパラダイムを提供し、プライバシーとデータ所有権の問題を軽減するのに役立ちます。
フロリダ州では、センター間のデータ収集プロトコルと患者人口統計の多様性により、異なる医療センターからのデータ間でデータの不均一性によって引き起こされる最適以下の収束が一般的です。
この研究の実験を通じて、データの異質性がローカルトレーニング中に壊滅的な忘却現象を引き起こすことを示しました。
私たちは、フェデレーテッド・インプレッションとしてグローバル情報を表す合成データを復元することにより、壊滅的な忘却を軽減する FedImpres を提案します。
これを達成するために、各コミュニケーションラウンドから得られるグローバルモデルを抽出します。
その後、合成データをローカル データと併用して、ローカル トレーニングの一般化を強化します。
広範な実験により、提案された方法がラベルの不均衡とドメインシフトを含む BloodMNIST と Retina データセットの両方で最先端のパフォーマンスを達成し、分類精度が最大 20% 向上することが示されています。

要約(オリジナル)

Standard deep learning-based classification approaches may not always be practical in real-world clinical applications, as they require a centralized collection of all samples. Federated learning (FL) provides a paradigm that can learn from distributed datasets across clients without requiring them to share data, which can help mitigate privacy and data ownership issues. In FL, sub-optimal convergence caused by data heterogeneity is common among data from different health centers due to the variety in data collection protocols and patient demographics across centers. Through experimentation in this study, we show that data heterogeneity leads to the phenomenon of catastrophic forgetting during local training. We propose FedImpres which alleviates catastrophic forgetting by restoring synthetic data that represents the global information as federated impression. To achieve this, we distill the global model resulting from each communication round. Subsequently, we use the synthetic data alongside the local data to enhance the generalization of local training. Extensive experiments show that the proposed method achieves state-of-the-art performance on both the BloodMNIST and Retina datasets, which contain label imbalance and domain shift, with an improvement in classification accuracy of up to 20%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google