OurDB: Ouroboric Domain Bridging for Multi-Target Domain Adaptive Semantic Segmentation

要約

セマンティック セグメンテーションのマルチターゲット ドメイン アダプテーション (MTDA) には、分布が異なる複数のターゲット ドメインが含まれるため、大きな課題が生じます。
MTDA の目標は、単一ソース ドメインと複数ターゲット ドメイン間のドメインの不一致を最小限に抑え、すべてのターゲット ドメインにわたって優れた単一モデルをトレーニングすることを目的としています。
従来の MTDA アプローチでは通常、複数の教師アーキテクチャが採用されており、各教師はタスクを簡素化するために 1 つのターゲット ドメインを専門としています。
ただし、これらのアーキテクチャは、学生モデルがターゲットに特化したすべての教師からの包括的な知識を完全に吸収することを妨げ、ターゲット領域の増加に伴ってトレーニング コストを増大させます。
この論文では、単一の教師アーキテクチャを使用して MTDA 問題に対する効率的な解決策を提供する、OurDB (OurDB) フレームワークを提案します。
このフレームワークは、複数のターゲット ドメインを動的に循環し、各ドメインを個別に調整して偏った調整の問題を抑制し、フィッシャー情報を利用して以前のターゲット ドメインからの知識の忘れを最小限に抑えます。
また、MTDA の多様なターゲット コンテキストに合わせて調整されたコンテキスト情報を活用するコンテキスト ガイド付きクラスワイズ ミックスアップ (CGMix) も提案します。
4 つの都市走行データセット (GTA5、Cityscapes、IDD、および Mapillary) に対して実施された実験評価により、既存の最先端のアプローチに対する私たちの手法の優位性が実証されました。

要約(オリジナル)

Multi-target domain adaptation (MTDA) for semantic segmentation poses a significant challenge, as it involves multiple target domains with varying distributions. The goal of MTDA is to minimize the domain discrepancies among a single source and multi-target domains, aiming to train a single model that excels across all target domains. Previous MTDA approaches typically employ multiple teacher architectures, where each teacher specializes in one target domain to simplify the task. However, these architectures hinder the student model from fully assimilating comprehensive knowledge from all target-specific teachers and escalate training costs with increasing target domains. In this paper, we propose an ouroboric domain bridging (OurDB) framework, offering an efficient solution to the MTDA problem using a single teacher architecture. This framework dynamically cycles through multiple target domains, aligning each domain individually to restrain the biased alignment problem, and utilizes Fisher information to minimize the forgetting of knowledge from previous target domains. We also propose a context-guided class-wise mixup (CGMix) that leverages contextual information tailored to diverse target contexts in MTDA. Experimental evaluations conducted on four urban driving datasets (i.e., GTA5, Cityscapes, IDD, and Mapillary) demonstrate the superiority of our method over existing state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google