Exploring Foundation Models Fine-Tuning for Cytology Classification

要約

細胞診スライドはがんの診断と病期分類に不可欠なツールですが、その分析には時間と費用がかかります。
基礎モデルは、これらのタスクを支援する大きな可能性を示しています。
この論文では、既存の基礎モデルを細胞学的分類にどのように適用できるかを検討します。
より具体的には、少数ショット学習に適したパラメータ効率の高い微調整方法である低ランク適応に焦点を当てます。
4 つの細胞学的分類データセットにわたって 5 つの基礎モデルを評価しました。
私たちの結果は、LoRA を使用して事前トレーニングされたバックボーンを微調整すると、分類器ヘッドのみを微調整する場合と比較してモデルのパフォーマンスが大幅に向上し、必要なデータ サンプルが少なくなりながら、単純な分類タスクと複雑な分類タスクの両方で最先端の結果が得られることを示しています。

要約(オリジナル)

Cytology slides are essential tools in diagnosing and staging cancer, but their analysis is time-consuming and costly. Foundation models have shown great potential to assist in these tasks. In this paper, we explore how existing foundation models can be applied to cytological classification. More particularly, we focus on low-rank adaptation, a parameter-efficient fine-tuning method suited to few-shot learning. We evaluated five foundation models across four cytological classification datasets. Our results demonstrate that fine-tuning the pre-trained backbones with LoRA significantly improves model performance compared to fine-tuning only the classifier head, achieving state-of-the-art results on both simple and complex classification tasks while requiring fewer data samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google