Achieving Domain Generalization in Underwater Object Detection by Domain Mixup and Contrastive Learning

要約

複雑な水中環境によるドメインシフトに直面すると、既存の水中物体検出方法の性能は著しく低下します。
データセット内のドメイン数の制限により、深い検出器はいくつかの見られたドメインを簡単に記憶するため、一般化能力が低くなります。
ドメインの汎化パフォーマンスを向上させるための一般的なアイデアが 2 つあります。
まず、できるだけ多くのドメインでトレーニングされた検出器はドメイン不変であると推測できます。
第二に、異なるドメインで同じセマンティック コンテンツを持つ画像の場合、それらの隠された機能は同等である必要があります。
このホワイト ペーパーでは、これら 2 つのアイデアをさらに掘り下げ、ドメイン ミックスアップと対照学習からドメイン間で一般化する方法を学習するドメイン一般化フレームワーク (DMC という名前) を提案します。
まず、水中画像の形成に基づいて、水中環境の画像は別の水中環境の線形変換です。
したがって、画像全体ではなく線形変換行列を出力するスタイル転送モデルを提案して、画像をあるソース ドメインから別のソース ドメインに変換し、トレーニング データのドメインの多様性を高めます。
第 2 に、ミックスアップ操作は、機能レベルで異なるドメインを補間し、ドメイン多様体で新しいドメインをサンプリングします。
3 番目に、対照的な損失が異なるドメインの特徴に選択的に適用され、モデルがドメイン不変の特徴を学習するように強制されますが、識別能力は保持されます。
私たちの方法では、検出器はドメインシフトに対して堅牢になります。
また、検出用のドメイン一般化ベンチマーク S-UODAC2020 をセットアップして、メソッドのパフォーマンスを測定します。
S-UODAC2020 と 2 つのオブジェクト認識ベンチマーク (PACS と VLCS) に関する包括的な実験は、提案された方法がドメイン不変表現を学習でき、他のドメイン一般化方法より優れていることを示しています。

要約(オリジナル)

The performance of existing underwater object detection methods degrades seriously when facing domain shift caused by complicated underwater environments. Due to the limitation of the number of domains in the dataset, deep detectors easily memorize a few seen domains, which leads to low generalization ability. There are two common ideas to improve the domain generalization performance. First, it can be inferred that the detector trained on as many domains as possible is domain-invariant. Second, for the images with the same semantic content in different domains, their hidden features should be equivalent. This paper further excavates these two ideas and proposes a domain generalization framework (named DMC) that learns how to generalize across domains from Domain Mixup and Contrastive Learning. First, based on the formation of underwater images, an image in an underwater environment is the linear transformation of another underwater environment. Thus, a style transfer model, which outputs a linear transformation matrix instead of the whole image, is proposed to transform images from one source domain to another, enriching the domain diversity of the training data. Second, mixup operation interpolates different domains on the feature level, sampling new domains on the domain manifold. Third, contrastive loss is selectively applied to features from different domains to force the model to learn domain invariant features but retain the discriminative capacity. With our method, detectors will be robust to domain shift. Also, a domain generalization benchmark S-UODAC2020 for detection is set up to measure the performance of our method. Comprehensive experiments on S-UODAC2020 and two object recognition benchmarks (PACS and VLCS) demonstrate that the proposed method is able to learn domain-invariant representations, and outperforms other domain generalization methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google