Domain Adaptive Object Detection via Balancing Between Self-Training and Adversarial Learning

要約

深層学習ベースの物体検出器は、物体と背景に大きな変化がある新しいターゲット ドメインに一般化するのに苦労しています。
現在のほとんどの方法では、イメージまたはインスタンス レベルの敵対的機能の調整を使用してドメインを調整します。
これは、多くの場合、望ましくない背景が原因で発生し、クラス固有の調整が欠如しています。
クラスレベルの調整を促進する簡単なアプローチは、ラベルのないドメインで信頼性の高い予測を擬似ラベルとして使用することです。
モデルがドメイン シフトの下で適切に調整されていないため、これらの予測にはノイズが多く含まれることがよくあります。
このペーパーでは、モデルの予測不確実性を活用して、敵対的特徴の調整とクラスレベルの調整の間で適切なバランスをとることを提案します。
クラスの割り当てと境界ボックスの予測における予測の不確実性を定量化する手法を開発します。
不確実性の低いモデル予測は自己トレーニング用の疑似ラベルの生成に使用され、不確実性が高いモデル予測は敵対的特徴アライメント用のタイルの生成に使用されます。
不確実なオブジェクト領域の周囲にタイリングすることと、確実性の高いオブジェクト領域から擬似ラベルを生成することとの相乗効果により、モデル適応中に画像レベルとインスタンスレベルのコンテキストの両方をキャプチャできるようになります。
私たちは、アプローチにおけるさまざまなコンポーネントの影響を明らかにするために、徹底的なアブレーション研究を報告します。
5 つの多様で挑戦的な適応シナリオの結果は、私たちのアプローチが既存の最先端の手法を顕著なマージンで上回っていることを示しています。

要約(オリジナル)

Deep learning based object detectors struggle generalizing to a new target domain bearing significant variations in object and background. Most current methods align domains by using image or instance-level adversarial feature alignment. This often suffers due to unwanted background and lacks class-specific alignment. A straightforward approach to promote class-level alignment is to use high confidence predictions on unlabeled domain as pseudo-labels. These predictions are often noisy since model is poorly calibrated under domain shift. In this paper, we propose to leverage model’s predictive uncertainty to strike the right balance between adversarial feature alignment and class-level alignment. We develop a technique to quantify predictive uncertainty on class assignments and bounding-box predictions. Model predictions with low uncertainty are used to generate pseudo-labels for self-training, whereas the ones with higher uncertainty are used to generate tiles for adversarial feature alignment. This synergy between tiling around uncertain object regions and generating pseudo-labels from highly certain object regions allows capturing both image and instance-level context during the model adaptation. We report thorough ablation study to reveal the impact of different components in our approach. Results on five diverse and challenging adaptation scenarios show that our approach outperforms existing state-of-the-art methods with noticeable margins.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google