Outdoor Scene Extrapolation with Hierarchical Generative Cellular Automata

要約

私たちは、自律走行車 (AV) によって豊富にキャプチャされた大規模なまばらな LiDAR スキャンから、きめの細かい 3D ジオメトリを生成することを目指しています。
AV シーンの完成に関するこれまでの研究とは対照的に、私たちはラベルのない LiDAR スキャンの空間限界を超えた微細なジオメトリを外挿し、現実的で高解像度のシミュレーション対応 3D ストリート環境を生成する一歩を踏み出すことを目指しています。
我々は、空間的にスケーラブルな条件付き 3D 生成モデルである階層型生成セルラー オートマトン (hGCA) を提案します。これは、グローバルな一貫性を誘導するための軽量プランナーを備え、粗いものから細かいものへと続くローカル カーネルで再帰的にジオメトリを成長させます。
合成シーンの実験では、hGCA が最先端のベースラインと比較して、より高い忠実度と完全性を備えた妥当なシーン ジオメトリを生成することが示されています。
私たちのモデルはシミュレーションからリアルまで強力に一般化されており、Waymo オープン データセットのベースラインを質的に上回っています。
また、限られた合成コンテンツでトレーニングした場合でも、現実世界の幾何学的な手がかりから新しいオブジェクトを作成できる能力の事例証拠も示します。
さらなる結果と詳細については、https://research.nvidia.com/labs/toronto-ai/hGCA/ をご覧ください。

要約(オリジナル)

We aim to generate fine-grained 3D geometry from large-scale sparse LiDAR scans, abundantly captured by autonomous vehicles (AV). Contrary to prior work on AV scene completion, we aim to extrapolate fine geometry from unlabeled and beyond spatial limits of LiDAR scans, taking a step towards generating realistic, high-resolution simulation-ready 3D street environments. We propose hierarchical Generative Cellular Automata (hGCA), a spatially scalable conditional 3D generative model, which grows geometry recursively with local kernels following, in a coarse-to-fine manner, equipped with a light-weight planner to induce global consistency. Experiments on synthetic scenes show that hGCA generates plausible scene geometry with higher fidelity and completeness compared to state-of-the-art baselines. Our model generalizes strongly from sim-to-real, qualitatively outperforming baselines on the Waymo-open dataset. We also show anecdotal evidence of the ability to create novel objects from real-world geometric cues even when trained on limited synthetic content. More results and details can be found on https://research.nvidia.com/labs/toronto-ai/hGCA/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google