Dual-Query Multiple Instance Learning for Dynamic Meta-Embedding based Tumor Classification

要約

全スライド画像 (WSI) 評価は、がんの診断と治療計画において困難かつ重要なステップです。
WSI では、細胞内分析を容易にするために高倍率が必要です。
ギガピクセル WSI のコンテキストでパッチレベル、さらにはピクセルレベルの分類のための正確なアノテーションを取得するには、ドメインの専門家を獲得するのが面倒で、必要です。
一方、粗粒ラベルには簡単にアクセスできるため、WSI 分類はマルチ インスタンス学習 (MIL) の理想的なユースケースになります。
私たちの研究では、新しい埋め込みベースのデュアルクエリ MIL パイプライン (DQ-MIL) を提案します。
私たちは埋め込みと集約の両方のステップに貢献します。
汎用的な視覚的特徴表現はまだ利用できないため、埋め込みモデルは一般化可能性の点で現時点では制限されています。
私たちの研究では、MIL のコンテキストにおける最先端の自己教師付き事前トレーニング済みモデルに基づく動的なメタ埋め込みの可能性を探求しています。
さらに、MIL-attentionと相関する自己注意を組み合わせることができる新しいMILアーキテクチャを提案します。
私たちのアプローチの Dual-Query Perceiver 設計により、自己蒸留の概念を活用し、低データ領域のコンテキストでの小規模モデルの利点と、大規模モデルの豊富な特徴表現を組み合わせることができます。
我々は、3 つの組織病理学的データセットに対する我々のアプローチの優れたパフォーマンスを実証し、最先端のアプローチと比較して最大 10% の改善を示しています。

要約(オリジナル)

Whole slide image (WSI) assessment is a challenging and crucial step in cancer diagnosis and treatment planning. WSIs require high magnifications to facilitate sub-cellular analysis. Precise annotations for patch- or even pixel-level classifications in the context of gigapixel WSIs are tedious to acquire and require domain experts. Coarse-grained labels, on the other hand, are easily accessible, which makes WSI classification an ideal use case for multiple instance learning (MIL). In our work, we propose a novel embedding-based Dual-Query MIL pipeline (DQ-MIL). We contribute to both the embedding and aggregation steps. Since all-purpose visual feature representations are not yet available, embedding models are currently limited in terms of generalizability. With our work, we explore the potential of dynamic meta-embedding based on cutting-edge self-supervised pre-trained models in the context of MIL. Moreover, we propose a new MIL architecture capable of combining MIL-attention with correlated self-attention. The Dual-Query Perceiver design of our approach allows us to leverage the concept of self-distillation and to combine the advantages of a small model in the context of a low data regime with the rich feature representation of a larger model. We demonstrate the superior performance of our approach on three histopathological datasets, where we show improvement of up to 10% over state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google