DA-Ada: Learning Domain-Aware Adapter for Domain Adaptive Object Detection

要約

ドメイン適応型オブジェクト検出 (DAOD) は、アノテーション付きのソース ドメインでトレーニングされた検出器をラベルのないターゲット ドメインに一般化することを目的としています。
ビジュアル言語モデル (VLM) は、目に見えない画像に関する重要な一般知識を提供できるため、ビジュアル エンコーダーをフリーズしてドメイン非依存アダプターを挿入することで、DAOD のドメイン不変の知識を学習できます。
ただし、ドメインに依存しないアダプターは、必然的にソース ドメインに偏ります。
ラベルのないドメインを識別するいくつかの有益な知識、つまり、ターゲット ドメインのドメイン固有の知識が破棄されます。
この問題を解決するために、DAOD タスクに合わせた新しいドメイン認識アダプター (DA-Ada) を提案します。
重要な点は、必須の一般知識とドメイン不変の知識の間のドメイン固有の知識を活用することです。
DA-Ada は、ドメイン不変知識を学習するドメイン不変アダプター (DIA) と、ビジュアル エンコーダーによって破棄された情報からドメイン固有知識を注入するドメイン固有アダプター (DSA) で構成されます。
複数の DAOD タスクにわたる包括的な実験により、DA-Ada がドメイン適応型オブジェクト検出を強化するためのドメイン対応ビジュアル エンコーダーを効率的に推論できることがわかりました。
私たちのコードは https://github.com/Therock90421/DA-Ada で入手できます。

要約(オリジナル)

Domain adaptive object detection (DAOD) aims to generalize detectors trained on an annotated source domain to an unlabelled target domain. As the visual-language models (VLMs) can provide essential general knowledge on unseen images, freezing the visual encoder and inserting a domain-agnostic adapter can learn domain-invariant knowledge for DAOD. However, the domain-agnostic adapter is inevitably biased to the source domain. It discards some beneficial knowledge discriminative on the unlabelled domain, i.e., domain-specific knowledge of the target domain. To solve the issue, we propose a novel Domain-Aware Adapter (DA-Ada) tailored for the DAOD task. The key point is exploiting domain-specific knowledge between the essential general knowledge and domain-invariant knowledge. DA-Ada consists of the Domain-Invariant Adapter (DIA) for learning domain-invariant knowledge and the Domain-Specific Adapter (DSA) for injecting the domain-specific knowledge from the information discarded by the visual encoder. Comprehensive experiments over multiple DAOD tasks show that DA-Ada can efficiently infer a domain-aware visual encoder for boosting domain adaptive object detection. Our code is available at https://github.com/Therock90421/DA-Ada.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google