Interpretable Vision-Language Survival Analysis with Ordinal Inductive Bias for Computational Pathology

要約

組織病理学総合画像（WSI）は、計算病理学（CPATH）の癌予後を評価するための重要なツールを提供します。
既存の生存分析（SA）アプローチはエキサイティングな進歩を遂げましたが、一般に、非常に発現するネットワークアーキテクチャと粗い患者レベルのラベルのみを採用して、ギガピクセルWSIからの視覚的予後表現を学習します。
このような学習パラダイムは、現在の希少なトレーニングデータとCPATHの標準的なマルチインスタンス学習（MIL）フレームワークに直面している場合、重要なパフォーマンスボトルネックに苦しんでいます。
それを克服するために、この論文は初めて、新しいビジョン言語ベースのSA（VLSA）パラダイムを提案します。
具体的には、（1）VLSAは病理VL基礎モデルによって駆動されます。
高能力ネットワークに依存しなくなり、データ効率の利点を示しています。
（2）ビジョンエンドでは、VLSAはテキスト予後事前をエンコードし、インスタンスレベルでの視覚的予後特徴の集約を導くために補助信号としてそれを採用し、それによってMILの弱い監督を補正します。
さらに、SAの特性を考慮して、i）順序生存プロンプトの学習が継続的生存ラベルをテキストプロンプトに変換することを提案します。
およびii）VLベースの予測とSAを互換性のあるものにするための予測ターゲットとしての順序発生率。
特に、VLSAの予測は、Shapleyの価値ベースの方法によって直感的に解釈される可能性があります。
5つのデータセットでの広範な実験は、スキームの有効性を確認します。
私たちのVLSAは、Gigapixel WSIから貴重な予後の手がかりを学ぶための効果的な手段を弱く監視したMILに提供することにより、CPATのSAの新しい方法を開くことができます。
ソースコードは、https：//github.com/liupei101/vlsaで入手できます。

要約(オリジナル)

Histopathology Whole-Slide Images (WSIs) provide an important tool to assess cancer prognosis in computational pathology (CPATH). While existing survival analysis (SA) approaches have made exciting progress, they are generally limited to adopting highly-expressive network architectures and only coarse-grained patient-level labels to learn visual prognostic representations from gigapixel WSIs. Such learning paradigm suffers from critical performance bottlenecks, when facing present scarce training data and standard multi-instance learning (MIL) framework in CPATH. To overcome it, this paper, for the first time, proposes a new Vision-Language-based SA (VLSA) paradigm. Concretely, (1) VLSA is driven by pathology VL foundation models. It no longer relies on high-capability networks and shows the advantage of data efficiency. (2) In vision-end, VLSA encodes textual prognostic prior and then employs it as auxiliary signals to guide the aggregating of visual prognostic features at instance level, thereby compensating for the weak supervision in MIL. Moreover, given the characteristics of SA, we propose i) ordinal survival prompt learning to transform continuous survival labels into textual prompts; and ii) ordinal incidence function as prediction target to make SA compatible with VL-based prediction. Notably, VLSA’s predictions can be interpreted intuitively by our Shapley values-based method. The extensive experiments on five datasets confirm the effectiveness of our scheme. Our VLSA could pave a new way for SA in CPATH by offering weakly-supervised MIL an effective means to learn valuable prognostic clues from gigapixel WSIs. Our source code is available at https://github.com/liupei101/VLSA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google