Single GPU Task Adaptation of Pathology Foundation Models for Whole Slide Image Analysis

要約

Pathology Foundationモデル（PFM）は、スライド画像全体（WSI）を分析するための強力なツールとして浮上しています。
ただし、特定の臨床タスクにこれらの前処理されたPFMを適応させると、主にギガピクセル画像の弱い（WSIレベル）ラベルのみが利用可能であるため、効果的なWSI分析に複数のインスタンス学習（MIL）パラダイムが必要です。
このペーパーでは、シングルgpu \ textbf {t} ask \ textbf {a} daptationの新しいアプローチを提案します。
提案されたアプローチは、MILアグリゲーターとPFMの個別の計算グラフを維持し、エンドツーエンドの適応中にダウンストリームタスク目標と整合する安定したトレーニングダイナミクスを作成します。
膀胱がんおよび肺腺癌の突然変異予測タスクで評価された施設およびTCGAコホートの肺腺癌は、H-Optimus-0（TAPFM）がベンチマークを上回ると、従来のアプローチを一貫してアウトパフォームします。
TAPFMは、実用的な変異のマルチラベル分類も効果的に処理します。
したがって、TAPFMは、さまざまな臨床アプリケーションの標準ハードウェアで実用的な強力な事前訓練を受けたPFMを適応させます。

要約(オリジナル)

Pathology foundation models (PFMs) have emerged as powerful tools for analyzing whole slide images (WSIs). However, adapting these pretrained PFMs for specific clinical tasks presents considerable challenges, primarily due to the availability of only weak (WSI-level) labels for gigapixel images, necessitating multiple instance learning (MIL) paradigm for effective WSI analysis. This paper proposes a novel approach for single-GPU \textbf{T}ask \textbf{A}daptation of \textbf{PFM}s (TAPFM) that uses vision transformer (\vit) attention for MIL aggregation while optimizing both for feature representations and attention weights. The proposed approach maintains separate computational graphs for MIL aggregator and the PFM to create stable training dynamics that align with downstream task objectives during end-to-end adaptation. Evaluated on mutation prediction tasks for bladder cancer and lung adenocarcinoma across institutional and TCGA cohorts, TAPFM consistently outperforms conventional approaches, with H-Optimus-0 (TAPFM) outperforming the benchmarks. TAPFM effectively handles multi-label classification of actionable mutations as well. Thus, TAPFM makes adaptation of powerful pre-trained PFMs practical on standard hardware for various clinical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google