External Prompt Features Enhanced Parameter-efficient Fine-tuning for Salient Object Detection

要約

顕著オブジェクト検出 (SOD) は、画像内で最も顕著なオブジェクトを検出することを目的としており、ピクセル レベルのバイナリ マスクを出力します。
トランスフォーマーベースの手法は、顕著なオブジェクトを識別するために重要なグローバルな意味論の理解により、有望なパフォーマンスを実現します。
ただし、これらのモデルは大きくなる傾向があり、多数のトレーニング パラメーターが必要になります。
SOD 用の変圧器の可能性をより適切に活用するために、顕著な物体の検出能力を強化しながらトレーニング パラメーターの数を削減することを目的とした、パラメーター効率の高い新しい微調整方法を提案します。
EXternal Prompt features EnhancedadapteR Tuning (ExPert) と呼ばれる私たちのモデルは、フリーズされたトランス エンコーダの層間にアダプタとインジェクタが点在するエンコーダ デコーダ構造を特徴としています。
アダプター モジュールは、事前にトレーニングされたバックボーンを SOD に適応させ、インジェクター モジュールには、顕著なオブジェクトの認識を強化する外部プロンプト機能が組み込まれています。
包括的な実験により、私たちの方法の優位性が実証されています。
5 つの SOD データセットにわたって以前の最先端 (SOTA) モデルを上回り、ExPert は、8,020 万個のトレーニング済みパラメーターを備えた ECSSD データセットで 0.215 の平均絶対誤差 (MAE) を達成しました。これは、トランスフォーマーベースの SOTA モデルより 21% 優れており、トランスベースの SOTA モデルよりも 47% 優れています。
CNN ベースの SOTA モデル。

要約(オリジナル)

Salient object detection (SOD) aims at finding the most salient objects in images and outputs pixel-level binary masks. Transformer-based methods achieve promising performance due to their global semantic understanding, crucial for identifying salient objects. However, these models tend to be large and require numerous training parameters. To better harness the potential of transformers for SOD, we propose a novel parameter-efficient fine-tuning method aimed at reducing the number of training parameters while enhancing the salient object detection capability. Our model, termed EXternal Prompt features Enhanced adapteR Tuning (ExPert), features an encoder-decoder structure with adapters and injectors interspersed between the layers of a frozen transformer encoder. The adapter modules adapt the pre-trained backbone to SOD while the injector modules incorporate external prompt features to enhance the awareness of salient objects. Comprehensive experiments demonstrate the superiority of our method. Surpassing former state-of-the-art (SOTA) models across five SOD datasets, ExPert achieves 0.215 mean absolute error (MAE) in ECSSD dataset with 80.2M trained parameters, 21% better than transformer-based SOTA model and 47% better than CNN-based SOTA model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google