Singular Value Fine-tuning: Few-shot Segmentation requires Few-parameters Fine-tuning

要約

事前にトレーニングされたバックボーンをフリーズすることは、少数ショットのセグメンテーションでの過剰適合を回避するための標準的なパラダイムになっています。
このホワイトペーパーでは、パラダイムを再考し、新しい体制を探ります。{\emバックボーンのパラメータのごく一部を微調整する}。
過剰適合の問題を克服するためのソリューションを提示し、新しいクラスの学習に関するモデルの一般化を改善します。
この方法では、特異値分解（SVD）を介してバックボーンパラメーターを3つの連続する行列に分解し、{\ emは特異値のみを微調整}して、他のパラメーターをフリーズ状態に保ちます。
上記の設計により、モデルは、事前にトレーニングされたバックボーン内でセマンティックの手がかりを維持しながら、新しいクラスの機能表現を調整できます。
さまざまなバックボーンを使用したさまざまな数ショットのセグメンテーション方法で、{\ em特異値微調整（SVF）}アプローチを評価します。
1ショットと5ショットの設定で、Pascal-5 $ ^i$とCOCO-20$^i$の両方で最先端の結果を達成します。
うまくいけば、この単純なベースラインは、研究者が数ショットの設定でバックボーンの微調整の役割を再考することを奨励します。
ソースコードとモデルは\url{https://github.com/syp2ysy/SVF}で入手できます。

要約(オリジナル)

Freezing the pre-trained backbone has become a standard paradigm to avoid overfitting in few-shot segmentation. In this paper, we rethink the paradigm and explore a new regime: {\em fine-tuning a small part of parameters in the backbone}. We present a solution to overcome the overfitting problem, leading to better model generalization on learning novel classes. Our method decomposes backbone parameters into three successive matrices via the Singular Value Decomposition (SVD), then {\em only fine-tunes the singular values} and keeps others frozen. The above design allows the model to adjust feature representations on novel classes while maintaining semantic clues within the pre-trained backbone. We evaluate our {\em Singular Value Fine-tuning (SVF)} approach on various few-shot segmentation methods with different backbones. We achieve state-of-the-art results on both Pascal-5$^i$ and COCO-20$^i$ across 1-shot and 5-shot settings. Hopefully, this simple baseline will encourage researchers to rethink the role of backbone fine-tuning in few-shot settings. The source code and models will be available at \url{https://github.com/syp2ysy/SVF}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google