Multi-Scale Prototypical Transformer for Whole Slide Image Classification

要約

全スライド画像 (WSI) 分類は、計算病理学において不可欠なタスクです。
WSI 分類のためのマルチ インスタンス学習 (MIL) の最近の進歩にも関わらず、バッグ内の陽性インスタンスと陰性インスタンスの間の極端な不均衡と、WSI のマルチスケール情報を融合するための複雑な前処理により、WSI を正確に分類することは依然として困難です。
この目的を達成するために、WSI 分類用の新しいマルチスケール プロトタイプ トランスフォーマー (MSPT) を提案します。これには、プロトタイプ トランスフォーマー (PT) モジュールとマルチスケール特徴融合モジュール (MFFM) が含まれます。
PT は、プロトタイプ学習を Transformer アーキテクチャに統合することで、バッグ内の冗長なインスタンスを削減するために開発されました。
すべてのインスタンスをクラスター プロトタイプに置き換え、その後、トランスフォーマーのセルフ アテンション メカニズムを通じて再調整されます。
その後、異なるスケールのクラスタ化されたプロトタイプを融合するための MFFM が提案され、MLP ミキサーを使用してプロトタイプ間の情報通信を強化します。
2 つの公開 WSI データセットに関する実験結果は、提案された MSPT が比較されたすべてのアルゴリズムよりも優れていることを示し、その潜在的なアプリケーションを示唆しています。

要約(オリジナル)

Whole slide image (WSI) classification is an essential task in computational pathology. Despite the recent advances in multiple instance learning (MIL) for WSI classification, accurate classification of WSIs remains challenging due to the extreme imbalance between the positive and negative instances in bags, and the complicated pre-processing to fuse multi-scale information of WSI. To this end, we propose a novel multi-scale prototypical Transformer (MSPT) for WSI classification, which includes a prototypical Transformer (PT) module and a multi-scale feature fusion module (MFFM). The PT is developed to reduce redundant instances in bags by integrating prototypical learning into the Transformer architecture. It substitutes all instances with cluster prototypes, which are then re-calibrated through the self-attention mechanism of the Trans-former. Thereafter, an MFFM is proposed to fuse the clustered prototypes of different scales, which employs MLP-Mixer to enhance the information communication between prototypes. The experimental results on two public WSI datasets demonstrate that the proposed MSPT outperforms all the compared algorithms, suggesting its potential applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google