Bi-directional Weakly Supervised Knowledge Distillation for Whole Slide Image Classification

要約

スライド全体画像(WSI)の分類に基づくコンピュータ支援病理診断は臨床の場で重要な役割を担っており，弱教師付き複数インスタンス学習(MIL)問題として定式化されることが多い．既存の手法は、バッグ分類もしくはインスタンス分類の観点からこの問題を解決している。本論文では、WSI分類のためのエンドツーエンド弱教師付き知識蒸留フレームワーク（WENO）を提案する。これは、知識蒸留フレームワークにおいてバッグ分類器とインスタンス分類器を統合し、両分類器の性能を相互に向上させるものである。具体的には、教師ネットワークとして、弱いバッグラベルで学習する注意ベースのバッグ分類器を用い、生徒ネットワークとして、教師ネットワークから得られる正規化注意スコアを正のバッグ内のインスタンスに対する柔らかい擬似ラベルとして学習するインスタンス分類器を用いる。インスタンス特徴抽出器は教師と生徒の間で共有され、両者間の知識交換をさらに強化する。さらに、生徒ネットワークの出力に基づくハードポジティブインスタンスマイニング戦略を提案し、教師ネットワークにハードポジティブインスタンスをマイニングし続けるよう強制する。WENOはプラグアンドプレイのフレームワークであり、既存の注意に基づくバッグ分類法に容易に適用できる。5つのデータセットでの広範な実験により、WENOの効率性を実証している。コードは https://github.com/miccaiif/WENO で入手可能です。

要約(オリジナル)

Computer-aided pathology diagnosis based on the classification of Whole Slide Image (WSI) plays an important role in clinical practice, and it is often formulated as a weakly-supervised Multiple Instance Learning (MIL) problem. Existing methods solve this problem from either a bag classification or an instance classification perspective. In this paper, we propose an end-to-end weakly supervised knowledge distillation framework (WENO) for WSI classification, which integrates a bag classifier and an instance classifier in a knowledge distillation framework to mutually improve the performance of both classifiers. Specifically, an attention-based bag classifier is used as the teacher network, which is trained with weak bag labels, and an instance classifier is used as the student network, which is trained using the normalized attention scores obtained from the teacher network as soft pseudo labels for the instances in positive bags. An instance feature extractor is shared between the teacher and the student to further enhance the knowledge exchange between them. In addition, we propose a hard positive instance mining strategy based on the output of the student network to force the teacher network to keep mining hard positive instances. WENO is a plug-and-play framework that can be easily applied to any existing attention-based bag classification methods. Extensive experiments on five datasets demonstrate the efficiency of WENO. Code is available at https://github.com/miccaiif/WENO.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL