SAM-PARSER: Fine-tuning SAM Efficiently by Parameter Space Reconstruction

要約

Segment Anything Model (SAM) は、画像内のオブジェクトのセグメント化に強力で多用途のソリューションを提供するため、注目を集めています。
ただし、さまざまなシナリオのさまざまな特性には当然ながら多様なモデル パラメーター空間が必要となるため、さまざまなシナリオの下で下流のセグメンテーション タスク向けに SAM を微調整することは依然として課題です。
既存の微調整方法のほとんどは、新しいパラメーターのセットを導入して SAM の元のパラメーター空間を変更することで、さまざまなシナリオ間のギャップを埋めようとします。
これらの研究とは異なり、この論文では、微調整中にほぼゼロの訓練可能なパラメータを導入するパラメータ空間再構成 (SAM-PARSER) によって SAM を効率的に微調整することを提案します。
SAM-PARSER では、SAM の元のパラメータ空間が比較的完全であるため、そのベースが新しいシナリオのパラメータ空間を再構築できると仮定します。
行列分解によって基底を取得し、係数を微調整して基底の最適な線形結合によって新しいシナリオに合わせたパラメーター空間を再構築します。
実験結果は、SAM-PARSER がさまざまなシナリオにわたって優れたセグメンテーション パフォーマンスを示しながら、現在のパラメーター効率の高い微調整方法と比較して、トレーニング可能なパラメーターの数を $\約 290$ 倍削減できることを示しています。

要約(オリジナル)

Segment Anything Model (SAM) has received remarkable attention as it offers a powerful and versatile solution for object segmentation in images. However, fine-tuning SAM for downstream segmentation tasks under different scenarios remains a challenge, as the varied characteristics of different scenarios naturally requires diverse model parameter spaces. Most existing fine-tuning methods attempt to bridge the gaps among different scenarios by introducing a set of new parameters to modify SAM’s original parameter space. Unlike these works, in this paper, we propose fine-tuning SAM efficiently by parameter space reconstruction (SAM-PARSER), which introduce nearly zero trainable parameters during fine-tuning. In SAM-PARSER, we assume that SAM’s original parameter space is relatively complete, so that its bases are able to reconstruct the parameter space of a new scenario. We obtain the bases by matrix decomposition, and fine-tuning the coefficients to reconstruct the parameter space tailored to the new scenario by an optimal linear combination of the bases. Experimental results show that SAM-PARSER exhibits superior segmentation performance across various scenarios, while reducing the number of trainable parameters by $\approx 290$ times compared with current parameter-efficient fine-tuning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google