Virchow2: Scaling Self-Supervised Mixed Magnification Models in Pathology

要約

基礎モデルは、計算病理学アプリケーション向けに急速に開発されています。
ただし、データの規模と多様性、モデルのサイズ、トレーニング アルゴリズムがすべて影響しており、下流のパフォーマンスにとってどの要素が最も重要であるかは未解決の問題のままです。
この研究では、病理学に合わせたアルゴリズムの修正を提案し、データとモデルのサイズの両方をスケーリングして、両方の側面で以前の研究を超えた結果を示します。
当社は、6 億 3,200 万パラメータのビジョン トランスフォーマである Virchow2、19 億パラメータのビジョン トランスフォーマである Virchow2G、および Virchow2G の 2,200 万パラメータの蒸留である Virchow2G Mini の 3 つの新しいモデルを導入します。それぞれ、さまざまな組織を含む 310 万枚の組織病理学スライド画像全体でトレーニングされています。
発信機関、汚れ。
最高パフォーマンスの競合モデルと比較して、12 タイルレベルのタスクで最先端のパフォーマンスを実現します。
私たちの結果は、データの多様性とドメイン固有の手法はパラメーターの数だけをスケールしたモデルよりも優れたパフォーマンスを発揮できるが、平均してドメイン固有の手法、データ スケール、モデル スケールの組み合わせによってパフォーマンスが向上することを示唆しています。

要約(オリジナル)

Foundation models are rapidly being developed for computational pathology applications. However, it remains an open question which factors are most important for downstream performance with data scale and diversity, model size, and training algorithm all playing a role. In this work, we propose algorithmic modifications, tailored for pathology, and we present the result of scaling both data and model size, surpassing previous studies in both dimensions. We introduce three new models: Virchow2, a 632 million parameter vision transformer, Virchow2G, a 1.9 billion parameter vision transformer, and Virchow2G Mini, a 22 million parameter distillation of Virchow2G, each trained with 3.1 million histopathology whole slide images, with diverse tissues, originating institutions, and stains. We achieve state of the art performance on 12 tile-level tasks, as compared to the top performing competing models. Our results suggest that data diversity and domain-specific methods can outperform models that only scale in the number of parameters, but, on average, performance benefits from the combination of domain-specific methods, data scale, and model scale.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google