FlexDrive: Toward Trajectory Flexibility in Driving Scene Reconstruction and Rendering

要約

ドライビングシーンの再構成とレンダリングは、3Dガウススプラッティングを用いて大きく進歩している。しかし、ほとんどの先行研究は、事前に記録された車両経路に沿ったレンダリング品質に焦点を当てており、経路外の視点への一般化に苦労している。この問題に対処するために、我々は、経路外のビューの再構成のための監視として、コンパクトで高品質な画像を作成する逆ビューワーピング技術を導入し、これらのビューの高品質なレンダリング結果を可能にする。正確でロバストなインバースビューワーピングのために、LiDAR深度データのスパース性と不完全性を克服し、最適化プロセス中にその場で高密度な深度マップを得るための深度ブートストラップ戦略を提案する。本手法は、広く使用されているWaymo Openデータセットにおいて、優れたインパスおよびアウトオブパス再構成とレンダリング性能を達成した。さらに、シミュレータベースのベンチマークを提案し、経路外の真実を取得し、経路外レンダリングの性能を定量的に評価する。

要約(オリジナル)

Driving scene reconstruction and rendering have advanced significantly using the 3D Gaussian Splatting. However, most prior research has focused on the rendering quality along a pre-recorded vehicle path and struggles to generalize to out-of-path viewpoints, which is caused by the lack of high-quality supervision in those out-of-path views. To address this issue, we introduce an Inverse View Warping technique to create compact and high-quality images as supervision for the reconstruction of the out-of-path views, enabling high-quality rendering results for those views. For accurate and robust inverse view warping, a depth bootstrap strategy is proposed to obtain on-the-fly dense depth maps during the optimization process, overcoming the sparsity and incompleteness of LiDAR depth data. Our method achieves superior in-path and out-of-path reconstruction and rendering performance on the widely used Waymo Open dataset. In addition, a simulator-based benchmark is proposed to obtain the out-of-path ground truth and quantitatively evaluate the performance of out-of-path rendering, where our method outperforms previous methods by a significant margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL