Parameter Efficient Fine-Tuning of Segment Anything Model for Biomedical Imaging

要約

セグメンテーションは、生物医学画像の重要な分析タスクであり、個々のオルガネラ、細胞、または臓器の研究を可能にします。
ディープラーニングはセグメンテーション方法を大幅に改善しましたが、課題は新しい条件の一般化に残っており、費用のかかるデータアノテーションが必要です。
Segment Anything Model（SAM）などのVision Foundationモデルは、改善された一般化を通じてこの問題に対処します。
ただし、これらのモデルは、注釈が少ないものの、注釈付きデータで微調整する必要がありますが、新しい条件に最適な結果を達成する必要があります。
マイナス面として、より多くの計算リソースが必要です。
これにより、パラメーター効率の高いFinetuning（PEFT）が関連します。
生物医学画像に適用されたSAMのPEFTの最初の包括的な研究を提供します。
PEFT層の配置は、視覚変圧器の層の種類よりも効率にとってより重要であり、リソース効率の高い微調整のためのレシピを提供していることがわかります。
私たちのコードは、https://github.com/computational-cell-analytics/peft-samで公開されています。

要約(オリジナル)

Segmentation is an important analysis task for biomedical images, enabling the study of individual organelles, cells or organs. Deep learning has massively improved segmentation methods, but challenges remain in generalization to new conditions, requiring costly data annotation. Vision foundation models, such as Segment Anything Model (SAM), address this issue through improved generalization. However, these models still require finetuning on annotated data, although with less annotations, to achieve optimal results for new conditions. As a downside, they require more computational resources. This makes parameter-efficient finetuning (PEFT) relevant. We contribute the first comprehensive study of PEFT for SAM applied to biomedical images. We find that the placement of PEFT layers is more important for efficiency than the type of layer for vision transformers and we provide a recipe for resource-efficient finetuning. Our code is publicly available at https://github.com/computational-cell-analytics/peft-sam.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google