Distilling foundation models for robust and efficient models in digital pathology

要約

近年、デジタル病理のための基礎モデル（FM）の出現は、トレーニング前のデータセットとモデルサイズのスケーリングに大きく依存しており、大規模で強力なモデルを生み出しています。
その結果、多様なダウンストリームタスクのパフォーマンスが向上しましたが、計算コストと推論時間の増加も導入しました。
この作業では、大きな基礎モデルの蒸留をより小さなファンデーションモデルに探り、パラメーターの数を数桁削減します。
蒸留技術を活用した蒸留モデルであるH0-MINIは、推論コストを大幅に削減して、大きなFMSにほぼ同等のパフォーマンスを達成します。
いくつかのパブリックベンチマークで評価され、EVAベンチマークで5位で3位を達成します。
さらに、Plismデータセットで実施された堅牢性分析は、蒸留モデルが染色条件の変動に優れた堅牢性に達し、他の最新モデルを大幅に上回ることを示しています。
これにより、パフォーマンスを損なうことなく、デジタル病理の軽量で堅牢なモデルを設計するための新しい視点が開かれます。

要約(オリジナル)

In recent years, the advent of foundation models (FM) for digital pathology has relied heavily on scaling the pre-training datasets and the model size, yielding large and powerful models. While it resulted in improving the performance on diverse downstream tasks, it also introduced increased computational cost and inference time. In this work, we explore the distillation of a large foundation model into a smaller one, reducing the number of parameters by several orders of magnitude. Leveraging distillation techniques, our distilled model, H0-mini, achieves nearly comparable performance to large FMs at a significantly reduced inference cost. It is evaluated on several public benchmarks, achieving 3rd place on the HEST benchmark and 5th place on the EVA benchmark. Additionally, a robustness analysis conducted on the PLISM dataset demonstrates that our distilled model reaches excellent robustness to variations in staining and scanning conditions, significantly outperforming other state-of-the art models. This opens new perspectives to design lightweight and robust models for digital pathology, without compromising on performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google