Learning Domain-Aware Detection Head with Prompt Tuning

要約

ドメイン適応型オブジェクト検出 (DAOD) は、アノテーション付きのソース ドメインでトレーニングされた検出器をラベルのないターゲット ドメインに一般化することを目的としています。
ただし、既存の方法は、検出ヘッドのドメイン バイアスを無視しながら、識別視覚エンコーダーを推論することによって検出バックボーンのドメイン バイアスを軽減することに重点を置いています。
ビジョン言語モデル (VLM) の高度な一般化に触発され、ドメイン認識検出ヘッドに続く堅牢な検出バックボーンとして VLM を適用することは、従来のドメイン バイアスを軽減するのではなく、各ドメインの識別検出器を学習する合理的な方法です。
方法。
したがって、上記の問題を解決するために、プロンプト調整を備えたドメイン対応検出ヘッド (DA-Pro) という名前の新しい DAOD フレームワークを提案します。これは、学習可能なドメイン適応プロンプトを適用して各ドメインの動的検出ヘッドを生成します。
正式には、ドメイン適応プロンプトは、ドメイン不変トークン、ドメイン固有トークン、およびクラス ラベルとともにドメイン関連のテキスト説明で構成されます。
さらに、ドメイン適応プロンプトがドメイン共有およびドメイン固有の知識を確実に取得できるようにするために、ソース ドメインとターゲット ドメインの間に 2 つの制約が適用されます。
プロンプト外乱の影響を軽減するために、プロンプトアンサンブル戦略も提案されています。
複数のクロスドメイン適応タスクにわたる包括的な実験により、ドメイン適応プロンプトを使用すると、ドメイン適応物体検出を強化する効果的なドメイン関連検出ヘッドを生成できることが実証されました。

要約(オリジナル)

Domain adaptive object detection (DAOD) aims to generalize detectors trained on an annotated source domain to an unlabelled target domain. However, existing methods focus on reducing the domain bias of the detection backbone by inferring a discriminative visual encoder, while ignoring the domain bias in the detection head. Inspired by the high generalization of vision-language models (VLMs), applying a VLM as the robust detection backbone following a domain-aware detection head is a reasonable way to learn the discriminative detector for each domain, rather than reducing the domain bias in traditional methods. To achieve the above issue, we thus propose a novel DAOD framework named Domain-Aware detection head with Prompt tuning (DA-Pro), which applies the learnable domain-adaptive prompt to generate the dynamic detection head for each domain. Formally, the domain-adaptive prompt consists of the domain-invariant tokens, domain-specific tokens, and the domain-related textual description along with the class label. Furthermore, two constraints between the source and target domains are applied to ensure that the domain-adaptive prompt can capture the domains-shared and domain-specific knowledge. A prompt ensemble strategy is also proposed to reduce the effect of prompt disturbance. Comprehensive experiments over multiple cross-domain adaptation tasks demonstrate that using the domain-adaptive prompt can produce an effectively domain-related detection head for boosting domain-adaptive object detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google