Rethinking Foundation Models for Medical Image Classification through a Benchmark Study on MedMNIST

要約

基礎モデルは、下流タスクの適応性が高いため、一般化可能性があるため、医療画像分析で広く採用されています。
ファンデーションモデルの数が増えているため、モデルの選択が重要な問題になりました。
この作業では、MedMnistデータセットに関するベンチマーク研究を実施することにより、医療画像分類タスクにおける基礎モデルの機能を研究します。
具体的には、畳み込みから変圧器ベースのモデルに至るまでのさまざまな基礎モデルを採用し、すべての分類タスクにエンドツーエンドトレーニングと線形プロービングの両方を実装します。
結果は、医療画像分類のために転送されたときにこれらの事前に訓練されたモデルの重要な可能性を示しています。
さらに、さまざまな画像サイズとさまざまなサイズのトレーニングデータで実験を実施します。
すべての結果を分析することにより、このトピックに関する予備的で有用な洞察と結論を提供します。

要約(オリジナル)

Foundation models are widely employed in medical image analysis, due to their high adaptability and generalizability for downstream tasks. With the increasing number of foundation models being released, model selection has become an important issue. In this work, we study the capabilities of foundation models in medical image classification tasks by conducting a benchmark study on the MedMNIST dataset. Specifically, we adopt various foundation models ranging from convolutional to Transformer-based models and implement both end-to-end training and linear probing for all classification tasks. The results demonstrate the significant potential of these pre-trained models when transferred for medical image classification. We further conduct experiments with different image sizes and various sizes of training data. By analyzing all the results, we provide preliminary, yet useful insights and conclusions on this topic.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google