TACS: Taxonomy Adaptive Cross-Domain Semantic Segmentation

要約

従来のドメイン適応セマンティックセグメンテーションは、制限された、または追加の監視なしで、モデルを新しいターゲットドメインに適応させるタスクに対処します。
入力ドメインギャップに取り組んでいる間、標準のドメイン適応設定は、出力スペースでドメインの変更がないことを前提としています。
セマンティック予測タスクでは、さまざまなデータセットにさまざまなセマンティック分類法に従ってラベルが付けられることがよくあります。
多くの実際の設定では、ターゲットドメインタスクには、ソースドメインによって課される分類法とは異なる分類法が必要です。
したがって、より一般的な分類法の適応型クロスドメインセマンティックセグメンテーション（TACS）問題を導入し、2つのドメイン間で一貫性のない分類法を可能にします。
さらに、画像レベルとラベルレベルのドメイン適応に共同で取り組むアプローチを提案します。
ラベルレベルでは、ターゲットドメインを拡張するための二国間混合サンプリング戦略と、ラベルスペースを統合および整列するための再ラベル付け方法を採用しています。
不確実性を修正した対照的な学習方法を提案することにより、画像レベルのドメインギャップに対処し、よりドメイン不変でクラス識別機能を実現します。
オープンタクソノミー、コースからファインタクソノミー、暗黙的にオーバーラップするタクソノミーなど、さまざまなTACS設定でフレームワークの有効性を広範囲に評価します。
私たちのアプローチは、ターゲットの分類法に適応できる一方で、以前の最先端技術を大幅に上回っています。
私たちの実装はhttps://github.com/ETHRuiGong/TADAで公開されています。

要約(オリジナル)

Traditional domain adaptive semantic segmentation addresses the task of adapting a model to a novel target domain under limited or no additional supervision. While tackling the input domain gap, the standard domain adaptation settings assume no domain change in the output space. In semantic prediction tasks, different datasets are often labeled according to different semantic taxonomies. In many real-world settings, the target domain task requires a different taxonomy than the one imposed by the source domain. We therefore introduce the more general taxonomy adaptive cross-domain semantic segmentation (TACS) problem, allowing for inconsistent taxonomies between the two domains. We further propose an approach that jointly addresses the image-level and label-level domain adaptation. On the label-level, we employ a bilateral mixed sampling strategy to augment the target domain, and a relabelling method to unify and align the label spaces. We address the image-level domain gap by proposing an uncertainty-rectified contrastive learning method, leading to more domain-invariant and class-discriminative features. We extensively evaluate the effectiveness of our framework under different TACS settings: open taxonomy, coarse-to-fine taxonomy, and implicitly-overlapping taxonomy. Our approach outperforms the previous state-of-the-art by a large margin, while being capable of adapting to target taxonomies. Our implementation is publicly available at https://github.com/ETHRuiGong/TADA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google