Dealing With Heterogeneous 3D MR Knee Images: A Federated Few-Shot Learning Method With Dual Knowledge Distillation

要約

タイトル：異種な3D MR膝の画像の取り扱い：デュアル知識蒸留を用いたフェデレーテッドフューション学習法

要約：
– Federated Learningは、データを集約せずにクライアント（病院など）間で共同トレーニングを可能にするため、医療機関の間で人気があります。
– しかしながら、大規模な3Dイメージデータセットのために注釈を作成するコストが高いため、臨床機関にはトレーニングのために十分な監視されたデータがありません。
– したがって、個別のクライアントは、公共データリポジトリで獲得した知識を利用して、プライベートな注釈付き画像の不足を補うことができます。
– この論文では、デュアル知識蒸留を用いたフェデレーテッドフューション学習法を提案します。
– この方法では、プライバシーを損なうことなく、クライアント間で限られたアノテーションを使用して共同トレーニングを行うことができます。
– この提案手法の監視学習は、各クライアントの限られたラベル付きデータから特徴を抽出し、非監視データは、国立データリポジトリから特徴と応答ベースの知識を蒸留するために使用され、共同モデルの精度をさらに改善し、通信コストを削減します。
– プライベートな臨床データセットから3D磁気共鳴膝画像を用いた広範な評価が行われました。
– この提案手法は、他の半監視されたフェデレーテッド学習手法よりも優れたパフォーマンスとトレーニング時間を示しました。
– コードと追加の可視化結果はhttps://github.com/hexiaoxiao-cs/fedml-kneeで利用可能です。

要約(オリジナル)

Federated Learning has gained popularity among medical institutions since it enables collaborative training between clients (e.g., hospitals) without aggregating data. However, due to the high cost associated with creating annotations, especially for large 3D image datasets, clinical institutions do not have enough supervised data for training locally. Thus, the performance of the collaborative model is subpar under limited supervision. On the other hand, large institutions have the resources to compile data repositories with high-resolution images and labels. Therefore, individual clients can utilize the knowledge acquired in the public data repositories to mitigate the shortage of private annotated images. In this paper, we propose a federated few-shot learning method with dual knowledge distillation. This method allows joint training with limited annotations across clients without jeopardizing privacy. The supervised learning of the proposed method extracts features from limited labeled data in each client, while the unsupervised data is used to distill both feature and response-based knowledge from a national data repository to further improve the accuracy of the collaborative model and reduce the communication cost. Extensive evaluations are conducted on 3D magnetic resonance knee images from a private clinical dataset. Our proposed method shows superior performance and less training time than other semi-supervised federated learning methods. Codes and additional visualization results are available at https://github.com/hexiaoxiao-cs/fedml-knee.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI