Zero-Shot Whole Slide Image Retrieval in Histopathology Using Embeddings of Foundation Models

要約

私たちは、画像検索のために、最近公開された病理組織学用の基礎モデルをテストしました。
トップ 1 検索、トップ 3 検索の大部分、およびトップ 5 検索の大部分の F1 スコアのマクロ平均を報告します。
私たちはゼロショット検索を実行します。つまり、埋め込みを変更せず、分類器をトレーニングしません。
テストデータとして、23 臓器と 117 のがんサブタイプからなる TCGA (The Cancer Genome Atlas) の診断スライドを使用しました。
検索プラットフォームとして Yottixel を使用し、パッチを使用して WSI 検索を実行できるようにしました。
達成された F1 スコアは、低いパフォーマンスを示しています。たとえば、上位 5 の検索では、27% +/- 13% (Yottixel-DenseNet)、42% +/- 14% (Yottixel-UNI)、40% +/-13% (Yottixel)
-Virchow)、41%+/-13% (Yottixel-GigaPath)、および 41%+/-14% (GigaPath WSI)。

要約(オリジナル)

We have tested recently published foundation models for histopathology for image retrieval. We report macro average of F1 score for top-1 retrieval, majority of top-3 retrievals, and majority of top-5 retrievals. We perform zero-shot retrievals, i.e., we do not alter embeddings and we do not train any classifier. As test data, we used diagnostic slides of TCGA, The Cancer Genome Atlas, consisting of 23 organs and 117 cancer subtypes. As a search platform we used Yottixel that enabled us to perform WSI search using patches. Achieved F1 scores show low performance, e.g., for top-5 retrievals, 27% +/- 13% (Yottixel-DenseNet), 42% +/- 14% (Yottixel-UNI), 40%+/-13% (Yottixel-Virchow), 41%+/-13% (Yottixel-GigaPath), and 41%+/-14% (GigaPath WSI).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google