FedDBL: Communication and Data Efficient Federated Deep-Broad Learning for Histopathological Tissue Classification

要約

病理組織分類は、計算病理学における基本的なタスクです。
深層学習ベースのモデルは優れたパフォーマンスを達成しましたが、データの集中化による集中型トレーニングにはプライバシー漏洩の問題があります。
フェデレーテッド ラーニング (FL) は、トレーニング サンプルをローカルに保持することでプライバシーを保護できますが、既存の FL ベースのフレームワークには、十分に注釈が付けられた多数のトレーニング サンプルと多数の通信ラウンドが必要であり、現実の臨床シナリオでの実用性を妨げています。
この論文では、Federated Deep-Broad Learning (FedDBL) という名前のユニバーサルで軽量なフェデレーテッド ラーニング フレームワークを提案し、限られたトレーニング サンプルと 1 ラウンドの通信のみで優れた分類パフォーマンスを実現します。
FedDBL は、事前トレーニング済みのディープ ラーニング機能エクストラクタ、高速で軽量な広範な学習推論システム、および従来のフェデレーテッド アグリゲーション アプローチを関連付けるだけで、データへの依存を劇的に減らし、通信効率を向上させることができます。
5 倍の相互検証は、FedDBL が 1 ラウンドの通信と限られたトレーニング サンプルで競合他社よりも大幅に優れていることを示しています。
さらに、軽量設計と 1 ラウンドの通信により、FedDBL は、50 ラウンドのトレーニングで ResNet-50 バックボーンを使用して、クライアントあたりの通信負荷を 4.6GB からわずか 276.5KB に削減します。
異なるクライアント間でデータや深いモデルを共有しないため、プライバシーの問題は十分に解決され、モデルのセキュリティは保証され、モデル反転攻撃のリスクはありません。
コードは https://github.com/tianpeng-deng/FedDBL で入手できます。

要約(オリジナル)

Histopathological tissue classification is a fundamental task in computational pathology. Deep learning-based models have achieved superior performance but centralized training with data centralization suffers from the privacy leakage problem. Federated learning (FL) can safeguard privacy by keeping training samples locally, but existing FL-based frameworks require a large number of well-annotated training samples and numerous rounds of communication which hinder their practicability in the real-world clinical scenario. In this paper, we propose a universal and lightweight federated learning framework, named Federated Deep-Broad Learning (FedDBL), to achieve superior classification performance with limited training samples and only one-round communication. By simply associating a pre-trained deep learning feature extractor, a fast and lightweight broad learning inference system and a classical federated aggregation approach, FedDBL can dramatically reduce data dependency and improve communication efficiency. Five-fold cross-validation demonstrates that FedDBL greatly outperforms the competitors with only one-round communication and limited training samples, while it even achieves comparable performance with the ones under multiple-round communications. Furthermore, due to the lightweight design and one-round communication, FedDBL reduces the communication burden from 4.6GB to only 276.5KB per client using the ResNet-50 backbone at 50-round training. Since no data or deep model sharing across different clients, the privacy issue is well-solved and the model security is guaranteed with no model inversion attack risk. Code is available at https://github.com/tianpeng-deng/FedDBL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google