Domain Adaptation of Synthetic Driving Datasets for Real-World Autonomous Driving

要約

知覚に基づく深層学習モデルの開発中、合成データの恩恵は非常に大きい。しかし、特定のコンピュータビジョンタスクのために合成データで訓練されたネットワークの性能は、両者の間のドメインギャップのために、実世界のデータでテストすると著しく劣化します。この合成データと実世界データのギャップを埋めるための一般的な解決策の1つは、ドメイン適応タスクとしてフレームワークすることである。本論文では、このようなアプローチをより良くするための新しい方法を提案し、評価する。特に、我々はUNIT-GANの手法をベースにしている。 通常の領域変換のためのGAN学習では、実画像と合成画像のペアリングはランダムに行われる。我々は、このペア選択に意味的な監視を効率的に組み込む新しい方法を提案し、変換された画像の視覚的品質を向上させるとともに、モデルの性能を高めるのに役立てる。我々は、Cityscapes \cite{cityscapes} と挑戦的な合成データセットSynscapesで我々の経験的な発見を説明する。この結果は、UNIT-GANの基本ネットワークについて報告されているが、他の類似のネットワークに簡単に拡張することができる。

要約(オリジナル)

While developing perception based deep learning models, the benefit of synthetic data is enormous. However, performance of networks trained with synthetic data for certain computer vision tasks degrade significantly when tested on real world data due to the domain gap between them. One of the popular solutions in bridging this gap between synthetic and actual world data is to frame it as a domain adaptation task. In this paper, we propose and evaluate novel ways for the betterment of such approaches. In particular we build upon the method of UNIT-GAN. In normal GAN training for the task of domain translation, pairing of images from both the domains (viz, real and synthetic) is done randomly. We propose a novel method to efficiently incorporate semantic supervision into this pair selection, which helps in boosting the performance of the model along with improving the visual quality of such transformed images. We illustrate our empirical findings on Cityscapes \cite{cityscapes} and challenging synthetic dataset Synscapes. Though the findings are reported on the base network of UNIT-GAN, they can be easily extended to any other similar network.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL