CLIP the Gap: A Single Domain Generalization Approach for Object Detection

要約

単一ドメインの一般化 (SDG) は、単一のソース ドメインでモデルをトレーニングして、目に見えないターゲット ドメインに一般化するという問題に取り組みます。
これは画像分類について十分に研究されていますが、SDG オブジェクト検出に関する文献はほとんど存在しないままです。
堅牢なオブジェクトのローカリゼーションと表現を同時に学習するという課題に対処するために、事前にトレーニングされたビジョン言語モデルを活用して、テキストプロンプトを介してセマンティックドメインの概念を導入することを提案します。
これは、検出器バックボーンによって抽出された特徴に作用するセマンティック拡張戦略と、テキストベースの分類損失によって実現されます。
私たちの実験は、独自の多様な気象駆動ベンチマークで、唯一の既存の SDG オブジェクト検出方法である Single-DGOD [49] を 10% 上回る、私たちのアプローチの利点を証明しています。

要約(オリジナル)

Single Domain Generalization (SDG) tackles the problem of training a model on a single source domain so that it generalizes to any unseen target domain. While this has been well studied for image classification, the literature on SDG object detection remains almost non-existent. To address the challenges of simultaneously learning robust object localization and representation, we propose to leverage a pre-trained vision-language model to introduce semantic domain concepts via textual prompts. We achieve this via a semantic augmentation strategy acting on the features extracted by the detector backbone, as well as a text-based classification loss. Our experiments evidence the benefits of our approach, outperforming by 10% the only existing SDG object detection method, Single-DGOD [49], on their own diverse weather-driving benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google