VLSM-Adapter: Finetuning Vision-Language Segmentation Efficiently with Lightweight Blocks

要約

大規模なオープンドメイン画像とテキストのペアを使用してトレーニングされた財団視覚言語モデル (VLM) は、最近、画像セグメンテーションをガイドする推論中にテキスト プロンプトを提供できる視覚言語セグメンテーション モデル (VLSM) の開発に適応されました。
医療画像用に堅牢で強力な VLSM を構築できれば、対象のターゲット構造の描写に多大な時間を費やす必要がある多くの臨床業務で医療専門家を支援できる可能性があります。
医療画像用の VLSM は、アノテーション付きの医療画像データセットが少ないため、ベース VLM またはオープンドメインの自然画像データセットで事前トレーニングされた VLSM を微調整することに頼っています。
この微調整は、通常、事前トレーニングされたパラメータのすべてまたはかなりの部分を更新する必要があるため、リソースを消費し、コストがかかります。
最近、アダプターと呼ばれる軽量ブロックが VLM で提案されています。これは、事前トレーニングされたモデルをフリーズしたままにし、微調整中にのみアダプターをトレーニングすることで、必要なコンピューティング リソースを大幅に削減します。
トランスフォーマー エンコーダーを使用して、事前トレーニングされた視覚言語セグメンテーション モデルを微調整できる新しいアダプター VLSM-Adapter を紹介します。
広く使用されている CLIP ベースのセグメンテーション モデルでの実験では、わずか 300 万のトレーニング可能なパラメーターで、VLSM アダプターが最先端のパフォーマンスを上回り、上限のエンドツーエンド微調整に匹敵することがわかりました。
ソース コードは https://github.com/naamiinepal/vlsm-adapter から入手できます。

要約(オリジナル)

Foundation Vision-Language Models (VLMs) trained using large-scale open-domain images and text pairs have recently been adapted to develop Vision-Language Segmentation Models (VLSMs) that allow providing text prompts during inference to guide image segmentation. If robust and powerful VLSMs can be built for medical images, it could aid medical professionals in many clinical tasks where they must spend substantial time delineating the target structure of interest. VLSMs for medical images resort to fine-tuning base VLM or VLSM pretrained on open-domain natural image datasets due to fewer annotated medical image datasets; this fine-tuning is resource-consuming and expensive as it usually requires updating all or a significant fraction of the pretrained parameters. Recently, lightweight blocks called adapters have been proposed in VLMs that keep the pretrained model frozen and only train adapters during fine-tuning, substantially reducing the computing resources required. We introduce a novel adapter, VLSM-Adapter, that can fine-tune pretrained vision-language segmentation models using transformer encoders. Our experiments in widely used CLIP-based segmentation models show that with only 3 million trainable parameters, the VLSM-Adapter outperforms state-of-the-art and is comparable to the upper bound end-to-end fine-tuning. The source code is available at: https://github.com/naamiinepal/vlsm-adapter.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google