Enhancing Source-Free Domain Adaptive Object Detection with Low-confidence Pseudo Label Distillation

要約

ソースフリー ドメイン適応型オブジェクト検出 (SFOD) は、ソース データにアクセスせずに、トレーニング済みの検出器をラベルのない新しいドメインに展開するための有望な戦略であり、データのプライバシーと効率に関する重大な懸念に対処します。
ほとんどの SFOD メソッドは、高信頼性疑似ラベル (HPL) に大きく依存する平均教師 (MT) 自己トレーニング パラダイムを活用しています。
ただし、これらの HPL では、ドメインのシフトに伴って外観が大幅に変更される小さなインスタンスが見落とされることがよくあります。
さらに、HPL はトレーニング サンプルが不足しているために信頼度の低いインスタンスを無視するため、ソース ドメインのよく知られたインスタンスに偏った適応が生じます。
この制限に対処するために、平均教師ベースの SFOD フレームワーク内に低信頼擬似ラベル蒸留 (LPLD) 損失を導入します。
この新しいアプローチは、馴染みのないドメインにある検出困難なオブジェクトを潜在的に含む地域提案ネットワーク (RPN) からの提案を活用するように設計されています。
最初に、標準の擬似ラベル技術を使用して HPL を抽出し、RPN によって生成された提案から一連の低信頼擬似ラベル (LPL) をマイニングし、HPL と大きく重複しないラベルを残します。
これらの LPL は、クラス関係情報を活用し、LPLD 損失計算の固有ノイズの影響を低減することによってさらに洗練されます。
さらに、特徴距離を使用して LPLD 損失を適応的に重み付けし、より大きな前景領域を含む LPL に焦点を当てます。
私たちの方法は、4 つのクロスドメイン物体検出ベンチマークで以前の SFOD 方法よりも優れています。
広範な実験により、LPLD 損失が偽陰性を減らし、ソース モデルからのドメイン不変の知識の使用を容易にすることで効果的な適応につながることが実証されました。
コードは https://github.com/junia3/LPLD で入手できます。

要約(オリジナル)

Source-Free domain adaptive Object Detection (SFOD) is a promising strategy for deploying trained detectors to new, unlabeled domains without accessing source data, addressing significant concerns around data privacy and efficiency. Most SFOD methods leverage a Mean-Teacher (MT) self-training paradigm relying heavily on High-confidence Pseudo Labels (HPL). However, these HPL often overlook small instances that undergo significant appearance changes with domain shifts. Additionally, HPL ignore instances with low confidence due to the scarcity of training samples, resulting in biased adaptation toward familiar instances from the source domain. To address this limitation, we introduce the Low-confidence Pseudo Label Distillation (LPLD) loss within the Mean-Teacher based SFOD framework. This novel approach is designed to leverage the proposals from Region Proposal Network (RPN), which potentially encompasses hard-to-detect objects in unfamiliar domains. Initially, we extract HPL using a standard pseudo-labeling technique and mine a set of Low-confidence Pseudo Labels (LPL) from proposals generated by RPN, leaving those that do not overlap significantly with HPL. These LPL are further refined by leveraging class-relation information and reducing the effect of inherent noise for the LPLD loss calculation. Furthermore, we use feature distance to adaptively weight the LPLD loss to focus on LPL containing a larger foreground area. Our method outperforms previous SFOD methods on four cross-domain object detection benchmarks. Extensive experiments demonstrate that our LPLD loss leads to effective adaptation by reducing false negatives and facilitating the use of domain-invariant knowledge from the source model. Code is available at https://github.com/junia3/LPLD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google