ReconDreamer: Crafting World Models for Driving Scene Reconstruction via Online Restoration

要約

閉ループ シミュレーションは、エンドツーエンドの自動運転にとって重要です。
既存のセンサー シミュレーション手法 (NeRF や 3DGS など) は、トレーニング データの分布を厳密に反映する条件に基づいて運転シーンを再構築します。
ただし、これらの方法は、車線変更などの新しい軌道をレンダリングするのに苦労します。
最近の研究では、ワールド モデルの知識を統合することでこれらの問題が軽減されることが実証されています。
これらのアプローチは、その効率性にもかかわらず、より複雑な操縦を正確に表現する際に依然として困難に直面しており、その例としては、マルチレーンシフトが挙げられます。
そこで、ワールド モデルの知識を段階的に統合することで運転シーンの再構築を強化する ReconDreamer を紹介します。
具体的には、DriveRestorer は、オンライン復元を通じてアーティファクトを軽減するために提案されています。
これは、より複雑な操作でも高品質のレンダリングを保証するように設計されたプログレッシブ データ更新戦略によって補完されます。
私たちの知る限りでは、ReconDreamer は大規模な作戦で効果的にレンダリングを行う最初の方法です。
実験結果は、ReconDreamer が NTA-IoU、NTL-IoU、および FID においてストリート ガウシアンよりも優れたパフォーマンスを示し、相対的に 24.87%、6.72%、および 29.97% 向上したことを示しています。
さらに、ReconDreamer は、NTA-IoU メトリックにおける 195.87% の相対的な改善と包括的なユーザー調査によって検証されたように、大規模な操作レンダリング中に PVG を使用した DriveDreamer4D を上回ります。

要約(オリジナル)

Closed-loop simulation is crucial for end-to-end autonomous driving. Existing sensor simulation methods (e.g., NeRF and 3DGS) reconstruct driving scenes based on conditions that closely mirror training data distributions. However, these methods struggle with rendering novel trajectories, such as lane changes. Recent works have demonstrated that integrating world model knowledge alleviates these issues. Despite their efficiency, these approaches still encounter difficulties in the accurate representation of more complex maneuvers, with multi-lane shifts being a notable example. Therefore, we introduce ReconDreamer, which enhances driving scene reconstruction through incremental integration of world model knowledge. Specifically, DriveRestorer is proposed to mitigate artifacts via online restoration. This is complemented by a progressive data update strategy designed to ensure high-quality rendering for more complex maneuvers. To the best of our knowledge, ReconDreamer is the first method to effectively render in large maneuvers. Experimental results demonstrate that ReconDreamer outperforms Street Gaussians in the NTA-IoU, NTL-IoU, and FID, with relative improvements by 24.87%, 6.72%, and 29.97%. Furthermore, ReconDreamer surpasses DriveDreamer4D with PVG during large maneuver rendering, as verified by a relative improvement of 195.87% in the NTA-IoU metric and a comprehensive user study.

arxiv情報

著者 Chaojun Ni,Guosheng Zhao,Xiaofeng Wang,Zheng Zhu,Wenkang Qin,Guan Huang,Chen Liu,Yuyin Chen,Yida Wang,Xueyang Zhang,Yifei Zhan,Kun Zhan,Peng Jia,Xianpeng Lang,Xingang Wang,Wenjun Mei
発行日 2024-11-29 08:47:46+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CV, cs.LG, cs.RO パーマリンク