ProCST: Boosting Semantic Segmentation Using Progressive Cyclic Style-Transfer

要約

実世界データで良好な性能を発揮するニューラルネットワークの学習に合成データを用いることは、コストのかかるデータアノテーションの必要性を減らすことができるため、重要な課題となっています。しかし、合成データと実世界のデータにはドメインギャップがあります。このギャップを小さくすることは、ドメイン適応とも呼ばれ、近年広く研究されています。しかし、合成データと実世界データの間で直接適応を行い、両者のドメインギャップを埋めることは困難である。本研究では、画像データに対する領域適応技術を向上させるための新しい2段階のフレームワークを提案する。第一段階では、マルチスケールニューラルネットワークを段階的に学習させ、ソースドメインからターゲットドメインへの画像変換を実行させる。この変換されたデータを「Source in Target」(SiT)と呼ぶ。そして、生成されたSiTデータを標準的なUDA手法の入力として挿入します。この新しいデータは、ターゲットドメインからのドメインギャップが減少しており、適用されるUDAアプローチがそのギャップをさらに縮めることを容易にします。本手法は、SiT生成に用いられる他の主要なUDAや画像間変換技術との比較を通じて、その有効性を強調する。さらに、GTA5 to CityscapesとSynthia to Cityscapesという2つのUDAタスクにおいて、HRDA、DAFormer、ProDAという3つの最先端の意味分割のためのUDA手法と我々のフレームワークの改良を実証する。

要約(オリジナル)

Using synthetic data for training neural networks that achieve good performance on real-world data is an important task as it can reduce the need for costly data annotation. Yet, synthetic and real world data have a domain gap. Reducing this gap, also known as domain adaptation, has been widely studied in recent years. Closing the domain gap between the source (synthetic) and target (real) data by directly performing the adaptation between the two is challenging. In this work, we propose a novel two-stage framework for improving domain adaptation techniques on image data. In the first stage, we progressively train a multi-scale neural network to perform image translation from the source domain to the target domain. We denote the new transformed data as ‘Source in Target’ (SiT). Then, we insert the generated SiT data as the input to any standard UDA approach. This new data has a reduced domain gap from the desired target domain, which facilitates the applied UDA approach to close the gap further. We emphasize the effectiveness of our method via a comparison to other leading UDA and image-to-image translation techniques when used as SiT generators. Moreover, we demonstrate the improvement of our framework with three state-of-the-art UDA methods for semantic segmentation, HRDA, DAFormer and ProDA, on two UDA tasks, GTA5 to Cityscapes and Synthia to Cityscapes.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL