Diagnose Like a Pathologist: Transformer-Enabled Hierarchical Attention-Guided Multiple Instance Learning for Whole Slide Image Classification

要約

複数インスタンス学習 (MIL) とトランスフォーマーは、組織病理学の全スライド画像 (WSI) 分類でますます一般的になっています。
ただし、さまざまな倍率で組織病理組織の特定の領域を選択的に観察する人間の病理学者とは異なり、ほとんどの方法では、WSI の複数の解像度が階層的かつ注意深く組み込まれていないため、WSI と他の解像度からの情報に焦点が当てられなくなります。
この問題を解決するために、階層的注意ガイド付き複数インスタンス学習フレームワークを提案して、WSI を完全に活用します。これにより、WSI の複数の解像度にわたって識別領域を動的かつ注意深く発見できます。
このフレームワーク内で、トランスフォーマーのパフォーマンスをさらに強化し、より全体的な WSI (バッグ) 表現を取得するために、複数の統合アテンション モジュールで構成される統合アテンション トランスフォーマーを提案します。これは、トランスフォーマー レイヤーと集約モジュールの組み合わせです。
そのバッグ内のすべてのインスタンス表現に基づいてバッグ表現を生成します。
実験の結果は、Camelyon16、TCGA-RCC、TCGA-NSCLC、および社内の IMGC データセットを含む複数のデータセットで、私たちの方法が最先端のパフォーマンスを達成したことを示しています。

要約(オリジナル)

Multiple Instance Learning (MIL) and transformers are increasingly popular in histopathology Whole Slide Image (WSI) classification. However, unlike human pathologists who selectively observe specific regions of histopathology tissues under different magnifications, most methods do not incorporate multiple resolutions of the WSIs, hierarchically and attentively, thereby leading to a loss of focus on the WSIs and information from other resolutions. To resolve this issue, we propose the Hierarchical Attention-Guided Multiple Instance Learning framework to fully exploit the WSIs, which can dynamically and attentively discover the discriminative regions across multiple resolutions of the WSIs. Within this framework, to further enhance the performance of the transformer and obtain a more holistic WSI (bag) representation, we propose an Integrated Attention Transformer, consisting of multiple Integrated Attention Modules, which is the combination of a transformer layer and an aggregation module that produces a bag representation based on every instance representation in that bag. The results of the experiments show that our method achieved state-of-the-art performances on multiple datasets, including Camelyon16, TCGA-RCC, TCGA-NSCLC, and our in-house IMGC dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google