Unsupervised Traffic Scene Generation with Synthetic 3D Scene Graphs

要約

コンピュータグラフィックスによる画像合成は、近年目覚ましいリアリズムを達成しましたが、このようにして生成された合成画像データは、現実世界のデータに関して大きなドメインギャップを明らかにしています。
これは、ニューラル ネットワークのトレーニングに合成データを利用することを克服するための重要な側面を表す、自動運転のシナリオで特に当てはまります。
レンダリングせずに交通シーン画像を直接合成するために、ドメイン不変のシーン表現に基づく方法を提案します。
具体的には、内部表現として合成シーン グラフを使用し、現実的な交通シーン合成のために教師なしニューラル ネットワーク アーキテクチャを導入します。
シーンに関する空間情報を使用して合成シーン グラフを強化し、シーン操作によるアプローチの有効性を実証します。

要約(オリジナル)

Image synthesis driven by computer graphics achieved recently a remarkable realism, yet synthetic image data generated this way reveals a significant domain gap with respect to real-world data. This is especially true in autonomous driving scenarios, which represent a critical aspect for overcoming utilizing synthetic data for training neural networks. We propose a method based on domain-invariant scene representation to directly synthesize traffic scene imagery without rendering. Specifically, we rely on synthetic scene graphs as our internal representation and introduce an unsupervised neural network architecture for realistic traffic scene synthesis. We enhance synthetic scene graphs with spatial information about the scene and demonstrate the effectiveness of our approach through scene manipulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google