Benchmarking Embedding Aggregation Methods in Computational Pathology: A Clinical Data Perspective

要約

人工知能 (AI) の最近の進歩、特に基礎モデル (FM) の自己教師あり学習は、医療画像処理と計算病理学 (CPath) に革命をもたらしています。
デジタル全体スライド画像 (WSI) の分析における絶え間ない課題は、何万ものタイル レベルの画像埋め込みをスライド レベルの表現に集約するという問題です。
TCGA などのゲノム研究用に作成されたデータセットがメソッド開発に広く使用されているため、臨床現場での診断スライドに対するこれらの手法のパフォーマンスは十分に調査されていません。
この研究では、診断評価、バイオマーカー分類、転帰予測など、9 つの臨床関連タスクにわたって 10 のスライド レベルの集計手法の徹底的なベンチマーク分析を実施します。
その結果、次の重要な洞察が得られます。 (1) ドメイン固有 (組織学的画像) FM から得られた埋め込みは、集計方法全体で汎用の ImageNet ベースのモデルから得られた埋め込みよりも優れています。
(2) 空間認識アグリゲーターは、ImageNet の事前トレーニング済みモデルを使用する場合はパフォーマンスを大幅に向上させますが、FM を使用する場合は向上しません。
(3) すべてのタスクにおいて優れた単一のモデルは存在せず、空間認識モデルは予想されるような一般的な優位性を示しません。
これらの発見は、より適応性があり、普遍的に適用可能な集計技術の必要性を強調しており、病理学における臨床 AI の進化するニーズをより適切に満たすツールに向けた将来の研究の指針となります。
この作業で使用されているコードは、\url{https://github.com/fuchs-lab-public/CPath_SABenchmark} で入手できます。

要約(オリジナル)

Recent advances in artificial intelligence (AI), in particular self-supervised learning of foundation models (FMs), are revolutionizing medical imaging and computational pathology (CPath). A constant challenge in the analysis of digital Whole Slide Images (WSIs) is the problem of aggregating tens of thousands of tile-level image embeddings to a slide-level representation. Due to the prevalent use of datasets created for genomic research, such as TCGA, for method development, the performance of these techniques on diagnostic slides from clinical practice has been inadequately explored. This study conducts a thorough benchmarking analysis of ten slide-level aggregation techniques across nine clinically relevant tasks, including diagnostic assessment, biomarker classification, and outcome prediction. The results yield following key insights: (1) Embeddings derived from domain-specific (histological images) FMs outperform those from generic ImageNet-based models across aggregation methods. (2) Spatial-aware aggregators enhance the performance significantly when using ImageNet pre-trained models but not when using FMs. (3) No single model excels in all tasks and spatially-aware models do not show general superiority as it would be expected. These findings underscore the need for more adaptable and universally applicable aggregation techniques, guiding future research towards tools that better meet the evolving needs of clinical-AI in pathology. The code used in this work is available at \url{https://github.com/fuchs-lab-public/CPath_SABenchmark}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google