UrbanCAD: Towards Highly Controllable and Photorealistic 3D Vehicles for Urban Scene Simulation

要約

自律運転シミュレーションとデータ増強には、制御可能性が高い光リアリスティックな3D車両モデルが不可欠です。
手作りのCADモデルは柔軟な制御可能性を提供しますが、フリーCADライブラリには、光線現実的なレンダリングに必要な高品質の材料が不足していることがよくあります。
逆に、再構築された3Dモデルは高忠実度のレンダリングを提供しますが、制御可能性がありません。
この作業では、単一の都市イメージから非常に制御可能でフォトリアリスティックな3D車両双子を生成するフレームワークであるUrbancadを紹介し、無料の3D CADモデルと手作りの素材の大規模なコレクションを活用します。
これを達成するために、検索最適化の方法に続く新しいパイプラインを提案し、幾何学と材料の両方に対してきめ細かい専門家が設計したプライアーを保持しながら観察データに適応します。
これにより、車両の現実的な360度レンダリング、バックグラウンド挿入、材料転送、再生、およびコンポーネント操作が可能になります。
さらに、マルチビューの背景視点と魚眼画像を考えると、魚眼の画像を使用して環境照明を近似し、3DGで背景を再構築し、最適化されたCADモデルをレンダリングされた新規ビューの背景にフォトリアリックな挿入を可能にします。
実験結果は、都市が光子現実主義の観点からベースラインよりも優れていることを示しています。
さらに、さまざまな知覚モデルが、分散貢献構成でUrbancadで評価されると精度を維持しますが、メソッドによって生成された現実的な分散データに適用されると劣化することを示します。
これは、Urbancadが、ダウンストリームアプリケーションのために光選挙的で安全性の高い運転シナリオを作成する上で重要な進歩であることを示唆しています。

要約(オリジナル)

Photorealistic 3D vehicle models with high controllability are essential for autonomous driving simulation and data augmentation. While handcrafted CAD models provide flexible controllability, free CAD libraries often lack the high-quality materials necessary for photorealistic rendering. Conversely, reconstructed 3D models offer high-fidelity rendering but lack controllability. In this work, we introduce UrbanCAD, a framework that generates highly controllable and photorealistic 3D vehicle digital twins from a single urban image, leveraging a large collection of free 3D CAD models and handcrafted materials. To achieve this, we propose a novel pipeline that follows a retrieval-optimization manner, adapting to observational data while preserving fine-grained expert-designed priors for both geometry and material. This enables vehicles’ realistic 360-degree rendering, background insertion, material transfer, relighting, and component manipulation. Furthermore, given multi-view background perspective and fisheye images, we approximate environment lighting using fisheye images and reconstruct the background with 3DGS, enabling the photorealistic insertion of optimized CAD models into rendered novel view backgrounds. Experimental results demonstrate that UrbanCAD outperforms baselines in terms of photorealism. Additionally, we show that various perception models maintain their accuracy when evaluated on UrbanCAD with in-distribution configurations but degrade when applied to realistic out-of-distribution data generated by our method. This suggests that UrbanCAD is a significant advancement in creating photorealistic, safety-critical driving scenarios for downstream applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google