Benchmarking foundation models as feature extractors for weakly-supervised computational pathology

要約

人工知能の進歩により、臨床関連情報を抽出できる多数の病理学基礎モデルの開発が推進されました。
しかし、将来の改善のための調整を明らかにするために、真に外部のコホートおよび臨床関連タスクに基づいてこれらの基礎モデルを独立して評価している文献は現在限られています。
この研究では、肺がん、結腸直腸がん、胃がん、および乳がんの 6,791 人の患者と 9,493 枚のスライドを含む 13 の患者コホートで 10 の組織病理学基礎モデルのベンチマークを行いました。
モデルは、バイオマーカー、形態学的特性、および予後結果に関連する弱い教師付きタスクで評価されました。
ビジョン言語の基礎モデルである CONCH が、ビジョンのみの基礎モデルと比較した場合、タスクの 42% で最高のパフォーマンスをもたらしたことを示します。
この実験により、異なるコホートでトレーニングされた基礎モデルが相補的な特徴を学習して同じラベルを予測し、融合して現在の最先端技術を上回るパフォーマンスを発揮できることが明らかになりました。
補完的な基礎モデルのアンサンブルを作成することは、タスクの 66% で CONCH を上回りました。
さらに、私たちの調査結果は、データの多様性が基礎モデルのデータ量を上回ることを示唆しています。
私たちの研究は、病理学基礎モデルを改善するための実用的な調整を強調しています。

要約(オリジナル)

Advancements in artificial intelligence have driven the development of numerous pathology foundation models capable of extracting clinically relevant information. However, there is currently limited literature independently evaluating these foundation models on truly external cohorts and clinically-relevant tasks to uncover adjustments for future improvements. In this study, we benchmarked ten histopathology foundation models on 13 patient cohorts with 6,791 patients and 9,493 slides from lung, colorectal, gastric, and breast cancers. The models were evaluated on weakly-supervised tasks related to biomarkers, morphological properties, and prognostic outcomes. We show that a vision-language foundation model, CONCH, yielded the highest performance in 42% of tasks when compared to vision-only foundation models. The experiments reveal that foundation models trained on distinct cohorts learn complementary features to predict the same label, and can be fused to outperform the current state of the art. Creating an ensemble of complementary foundation models outperformed CONCH in 66% of tasks. Moreover, our findings suggest that data diversity outweighs data volume for foundation models. Our work highlights actionable adjustments to improve pathology foundation models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google