AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context Processing for Representation Learning of Giga-pixel Images

要約

ギガピクセルの全スライド病理組織画像 (WSI) を処理するのは、計算コストがかかる作業です。
マルチ インスタンス学習 (MIL) は、WSI を処理するための従来のアプローチとなっており、これらの画像はさらなる処理のために小さなパッチに分割されます。
ただし、MIL ベースの技術では、パッチ内の個々のセルに関する明示的な情報が無視されます。
この論文では、共有コンテキスト処理の新しい概念を定義することにより、組織内のセルラー グラフを使用して患者に単一の表現を提供すると同時に、階層構造を利用するマルチモーダル グラフ トランスフォーマー (AMIGO) を設計しました。
細胞レベルの情報と組織レベルの情報の間で動的に焦点を合わせることが可能になります。
私たちは、生存予測における複数の最先端の手法に対してモデルのパフォーマンスをベンチマークし、階層型ビジョン トランスフォーマー (ViT) を含むすべてのメソッドを大幅に上回るパフォーマンスを示しました。
さらに重要なことは、私たちのモデルは情報の欠落に対して非常に堅牢であり、わずか 20% のデータでも同じパフォーマンスを達成できることを示しています。
最後に、2 つの異なるがんデータセットで、他の最先端の方法ではこの目標を達成できなかった一方で、私たちのモデルは患者を低リスク グループと高リスク グループに階層化できることを実証しました。
また、188 人の患者からの 1,600 個の組織マイクロアレイ (TMA) コアとその生存情報を含む免疫組織化学画像 (InUIT) の大規模なデータセットも公開しており、これはこの文脈で公的に利用できる最大のデータセットの 1 つとなっています。

要約(オリジナル)

Processing giga-pixel whole slide histopathology images (WSI) is a computationally expensive task. Multiple instance learning (MIL) has become the conventional approach to process WSIs, in which these images are split into smaller patches for further processing. However, MIL-based techniques ignore explicit information about the individual cells within a patch. In this paper, by defining the novel concept of shared-context processing, we designed a multi-modal Graph Transformer (AMIGO) that uses the celluar graph within the tissue to provide a single representation for a patient while taking advantage of the hierarchical structure of the tissue, enabling a dynamic focus between cell-level and tissue-level information. We benchmarked the performance of our model against multiple state-of-the-art methods in survival prediction and showed that ours can significantly outperform all of them including hierarchical Vision Transformer (ViT). More importantly, we show that our model is strongly robust to missing information to an extent that it can achieve the same performance with as low as 20% of the data. Finally, in two different cancer datasets, we demonstrated that our model was able to stratify the patients into low-risk and high-risk groups while other state-of-the-art methods failed to achieve this goal. We also publish a large dataset of immunohistochemistry images (InUIT) containing 1,600 tissue microarray (TMA) cores from 188 patients along with their survival information, making it one of the largest publicly available datasets in this context.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google