Generalized Semantic Segmentation by Self-Supervised Source Domain Projection and Multi-Level Contrastive Learning

要約

ソースドメインで学習したディープネットワークは、未知のターゲットドメインのデータでテストすると、性能が低下する。既存のドメイン汎化手法の多くは、モデルの汎化能力を向上させるために、ドメインに敏感な特徴を抑制してドメイン不変の特徴を学習している。これらの手法とは異なり、我々は、2つのモジュールを含む、一般化された意味分割のためのドメイン投影と対照学習（DPCL）アプローチを提案する。DPCLは、自己監視型ソースドメインプロジェクション(SSDP)とマルチレベル対照学習(MLCL)を含む。SSDPはデータをソースドメインに投影することでドメインギャップを減らすことを目的とし、MLCLは投影されたデータに対して識別的かつ汎化可能な特徴を学習する学習方式である。テスト時には、まずSSDPによって対象データを投影し、ドメインギャップを緩和した後、MLCLに基づく学習済みセグメンテーションネットワークによってセグメンテーション結果を生成する。テスト時には、より良い結果を得るために、提案するピクセル間コントラスト損失を最小化することにより、投影データを更新することができる。セマンティックセグメンテーションに関する広範な実験により、ベンチマークデータセットにおいて、本手法の良好な汎化能力が実証された。

要約(オリジナル)

Deep networks trained on the source domain show degraded performance when tested on unseen target domain data. To enhance the model’s generalization ability, most existing domain generalization methods learn domain invariant features by suppressing domain sensitive features. Different from them, we propose a Domain Projection and Contrastive Learning (DPCL) approach for generalized semantic segmentation, which includes two modules: Self-supervised Source Domain Projection (SSDP) and Multi-level Contrastive Learning (MLCL). SSDP aims to reduce domain gap by projecting data to the source domain, while MLCL is a learning scheme to learn discriminative and generalizable features on the projected data. During test time, we first project the target data by SSDP to mitigate domain shift, then generate the segmentation results by the learned segmentation network based on MLCL. At test time, we can update the projected data by minimizing our proposed pixel-to-pixel contrastive loss to obtain better results. Extensive experiments for semantic segmentation demonstrate the favorable generalization capability of our method on benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL