Few-Shot Object Detection in Unseen Domains

要約

数ショット オブジェクト検出 (FSOD) は、豊富な基本クラスで得られた知識を転送することにより、限られたデータで新しいオブジェクト クラスを学習するために近年盛んになっています。
FSOD アプローチは、一般的に、ほとんど提供されていない新しいクラスの例とテスト時のデータの両方が同じドメインに属していると想定しています。
ただし、この仮定は、モデルがターゲット ドメインからのクラスを推論しながら、ソース ドメインから新しいクラスを学習できる、さまざまな産業およびロボット工学のアプリケーションには当てはまりません。
この作業では、FSOD のゼロ ショット ドメイン適応 (ドメインの一般化とも呼ばれます) のタスクに対処します。
具体的には、トレーニング中にターゲットドメインの新しいクラスの画像もラベルも利用できないと想定しています。
ドメイン ギャップを解決するためのアプローチは 2 つあります。
まず、基本クラスのドメイン シフトを学習するメタ トレーニング パラダイムを活用し、ドメインの知識を新しいクラスに転送します。
第二に、可能なすべてのドメイン固有の情報を説明するために、新しいクラスのいくつかのショットでさまざまなデータ拡張手法を提案します。
ドメインにとらわれないクラス固有の表現のみをエンコードするようにネットワークを制約するために、フォアグラウンド提案とクラス埋め込み間の相互情報を最大化し、ターゲット ドメインからのバックグラウンド情報に対するネットワークのバイアスを減らすために、対照的な損失が提案されます。
T-LESS、PASCAL-VOC、および ExDark データセットに関する私たちの実験は、提案されたアプローチが、ターゲット ドメインからの新しいカテゴリのラベルまたは画像を利用することなく、ドメイン ギャップを大幅に軽減することに成功したことを示しています。

要約(オリジナル)

Few-shot object detection (FSOD) has thrived in recent years to learn novel object classes with limited data by transferring knowledge gained on abundant base classes. FSOD approaches commonly assume that both the scarcely provided examples of novel classes and test-time data belong to the same domain. However, this assumption does not hold in various industrial and robotics applications, where a model can learn novel classes from a source domain while inferring on classes from a target domain. In this work, we address the task of zero-shot domain adaptation, also known as domain generalization, for FSOD. Specifically, we assume that neither images nor labels of the novel classes in the target domain are available during training. Our approach for solving the domain gap is two-fold. First, we leverage a meta-training paradigm, where we learn the domain shift on the base classes, then transfer the domain knowledge to the novel classes. Second, we propose various data augmentations techniques on the few shots of novel classes to account for all possible domain-specific information. To constraint the network into encoding domain-agnostic class-specific representations only, a contrastive loss is proposed to maximize the mutual information between foreground proposals and class embeddings and reduce the network’s bias to the background information from target domain. Our experiments on the T-LESS, PASCAL-VOC, and ExDark datasets show that the proposed approach succeeds in alleviating the domain gap considerably without utilizing labels or images of novel categories from the target domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google