Predicting Class Distribution Shift for Reliable Domain Adaptive Object Detection

要約

Unsupervised Domain Adaptive Object Detection (UDA-OD) は、ラベルのないデータを使用して、オープン ワールド環境におけるロボット ビジョン システムの信頼性を向上させます。
セルフトレーニングに基づくUDA-ODへの以前のアプローチは、画像の一般的な外観の変化を克服するのに効果的でした。
ただし、ロボットの展開環境の変化は、クラス分布の変化と呼ばれる、さまざまなオブジェクトが発生する可能性にも影響を与える可能性があります。
これに動機付けられて、自己訓練における疑似ラベルの信頼性を向上させるために、クラス分布シフトに明示的に対処するためのフレームワークを提案します。
私たちのアプローチは、事前に訓練された共同ビジョンと言語モデルのドメイン不変性とコンテキスト理解を使用して、ラベルのないデータのクラス分布を予測します。
疑似ラベルのクラス分布をこの予測と一致させることにより、疑似ラベルの精度の弱い監視を提供します。
セルフトレーニングの早い段階で低品質の疑似ラベルをさらに説明するために、モデルの信頼度に基づいて画像ごとの疑似ラベルの数を動的に調整するアプローチを提案します。
私たちの方法は、困難なクラス分布の変化に直面したときの 4.7 mAP の改善など、いくつかのベンチマークで最先端のアプローチよりも優れています。

要約(オリジナル)

Unsupervised Domain Adaptive Object Detection (UDA-OD) uses unlabelled data to improve the reliability of robotic vision systems in open-world environments. Previous approaches to UDA-OD based on self-training have been effective in overcoming changes in the general appearance of images. However, shifts in a robot’s deployment environment can also impact the likelihood that different objects will occur, termed class distribution shift. Motivated by this, we propose a framework for explicitly addressing class distribution shift to improve pseudo-label reliability in self-training. Our approach uses the domain invariance and contextual understanding of a pre-trained joint vision and language model to predict the class distribution of unlabelled data. By aligning the class distribution of pseudo-labels with this prediction, we provide weak supervision of pseudo-label accuracy. To further account for low quality pseudo-labels early in self-training, we propose an approach to dynamically adjust the number of pseudo-labels per image based on model confidence. Our method outperforms state-of-the-art approaches on several benchmarks, including a 4.7 mAP improvement when facing challenging class distribution shift.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google