Domain Randomization and Pyramid Consistency: Simulation-to-Real Generalization without Accessing Target Domain Data

要約

我々は、実世界の自動運転シーンの意味的セグメンテーションのために、シミュレーションの可能性を領域汎化方式で利用することを提案する。セグメンテーションネットワークは、ターゲットドメインのデータなしで学習され、未見のターゲットドメインでテストされる。そのため、高い汎化性を持つモデルを学習するために、領域ランダム化とピラミッド整合性という新しいアプローチを提案する。まず、領域不変な表現を効率的に学習するために、補助データセットを用いて、合成画像を実画像の視覚的外観のスタイルでランダム化することを提案する。第二に、領域不変な特徴とスケール不変な特徴をそれぞれ学習するために、異なる「様式化」画像間と画像内のピラミッドの一貫性をさらに強化する。GTAとSYNTHIAからCityscapes、BDDS、Mapillaryへの汎化について広範な実験を行い、我々の手法は最先端の技術に対して優れた結果を達成した。特に、学習時に対象領域のデータにアクセスするシミュレーションから実領域への適応を行う最新の手法と同等か、それ以上の結果を得ることができた。

要約(オリジナル)

We propose to harness the potential of simulation for the semantic segmentation of real-world self-driving scenes in a domain generalization fashion. The segmentation network is trained without any data of target domains and tested on the unseen target domains. To this end, we propose a new approach of domain randomization and pyramid consistency to learn a model with high generalizability. First, we propose to randomize the synthetic images with the styles of real images in terms of visual appearances using auxiliary datasets, in order to effectively learn domain-invariant representations. Second, we further enforce pyramid consistency across different ‘stylized’ images and within an image, in order to learn domain-invariant and scale-invariant features, respectively. Extensive experiments are conducted on the generalization from GTA and SYNTHIA to Cityscapes, BDDS and Mapillary; and our method achieves superior results over the state-of-the-art techniques. Remarkably, our generalization results are on par with or even better than those obtained by state-of-the-art simulation-to-real domain adaptation methods, which access the target domain data at training time.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL