Unified-modal Salient Object Detection via Adaptive Prompt Learning

要約

既存のシングルモーダルおよびマルチモーダル顕著物体検出 (SOD) 手法は、それぞれのタスクに合わせた特定のアーキテクチャの設計に重点を置いています。
ただし、異なるタスクに対してまったく異なるモデルを開発すると、労力と時間の消費に加えて、計算コストや実際の導入コストが高くなります。
この論文では、UniSOD と呼ばれる統一フレームワークでシングルモーダル SOD とマルチモーダル SOD の両方に対処することを試みます。UniSOD は、異なるタスク間で重複する事前知識を最大限に活用します。
それにもかかわらず、モダリティ変数の入力に適切な戦略を割り当てることは困難です。
この目的を達成するために、UniSOD は、適応プロンプト学習を通じてタスク固有のヒントを含むモダリティ認識プロンプトを学習します。これは、提案された事前トレーニング済みのベースライン SOD モデルに組み込まれて、対応するタスクを処理しますが、モデル全体をトレーニングする場合と比較して、必要な学習可能なパラメーターはわずかです。
各モダリティ対応プロンプトは、切り替え可能なプロンプト生成ブロックから生成され、人間の介入なしにシングルモーダルおよびマルチモーダル入力に基づいて構造切り替えを適応的に実行します。
エンドツーエンドの共同トレーニングを通じて、UniSOD は RGB、RGB-D、および RGB-T SOD の 14 のベンチマーク データセットで全体的なパフォーマンスの向上を達成しました。これは、私たちの方法がシングルモーダルとマルチモーダルの SOD タスクを効果的かつ効率的に統合していることを示しています。
コードと結果は https://github.com/Angknpng/UniSOD で入手できます。

要約(オリジナル)

Existing single-modal and multi-modal salient object detection (SOD) methods focus on designing specific architectures tailored for their respective tasks. However, developing completely different models for different tasks leads to labor and time consumption, as well as high computational and practical deployment costs. In this paper, we attempt to address both single-modal and multi-modal SOD in a unified framework called UniSOD, which fully exploits the overlapping prior knowledge between different tasks. Nevertheless, assigning appropriate strategies to modality variable inputs is challenging. To this end, UniSOD learns modality-aware prompts with task-specific hints through adaptive prompt learning, which are plugged into the proposed pre-trained baseline SOD model to handle corresponding tasks, while only requiring few learnable parameters compared to training the entire model. Each modality-aware prompt is generated from a switchable prompt generation block, which adaptively performs structural switching based on single-modal and multi-modal inputs without human intervention. Through end-to-end joint training, UniSOD achieves overall performance improvement on 14 benchmark datasets for RGB, RGB-D, and RGB-T SOD, which demonstrates that our method effectively and efficiently unifies single-modal and multi-modal SOD tasks.The code and results are available at https://github.com/Angknpng/UniSOD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google