Predicting Class Distribution Shift for Reliable Domain Adaptive Object Detection

要約

教師なしドメイン適応物体検出 (UDA-OD) は、ラベルなしのデータを使用して、オープンワールド環境におけるロボット ビジョン システムの信頼性を向上させます。
自己学習に基づく UDA-OD へのこれまでのアプローチは、画像の一般的な外観の変化を克服するのに効果的でした。
ただし、ロボットの展開環境の変化は、クラス分布の変化と呼ばれる、異なるオブジェクトが発生する可能性にも影響を与える可能性があります。
これを動機として、自己訓練における疑似ラベルの信頼性を向上させるために、クラス分布のシフトに明示的に対処するためのフレームワークを提案します。
私たちのアプローチでは、ドメインの不変性と、事前にトレーニングされた共同視覚および言語モデルのコンテキスト理解を使用して、ラベルのないデータのクラス分布を予測します。
擬似ラベルのクラス分布をこの予測と一致させることにより、擬似ラベルの精度を弱い監視します。
自己トレーニングの初期段階で低品質の擬似ラベルをさらに考慮するために、モデルの信頼性に基づいて画像ごとの擬似ラベルの数を動的に調整するアプローチを提案します。
私たちの手法は、困難なクラス分布の変化に直面した場合の 4.7 mAP の改善など、いくつかのベンチマークで最先端のアプローチを上回っています。

要約(オリジナル)

Unsupervised Domain Adaptive Object Detection (UDA-OD) uses unlabelled data to improve the reliability of robotic vision systems in open-world environments. Previous approaches to UDA-OD based on self-training have been effective in overcoming changes in the general appearance of images. However, shifts in a robot’s deployment environment can also impact the likelihood that different objects will occur, termed class distribution shift. Motivated by this, we propose a framework for explicitly addressing class distribution shift to improve pseudo-label reliability in self-training. Our approach uses the domain invariance and contextual understanding of a pre-trained joint vision and language model to predict the class distribution of unlabelled data. By aligning the class distribution of pseudo-labels with this prediction, we provide weak supervision of pseudo-label accuracy. To further account for low quality pseudo-labels early in self-training, we propose an approach to dynamically adjust the number of pseudo-labels per image based on model confidence. Our method outperforms state-of-the-art approaches on several benchmarks, including a 4.7 mAP improvement when facing challenging class distribution shift.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google