FlexDrive: Toward Trajectory Flexibility in Driving Scene Reconstruction and Rendering

要約

運転シーンの再構築とレンダリングは、3Dガウスのスプラッティングを使用して大幅に進歩しています。
ただし、ほとんどの以前の研究は、事前に録音された車両パスに沿ったレンダリング品質に焦点を当てており、これらのパス外の見解に高品質の監督がないことが原因であるパス外の視点に一般化するのに苦労しています。
この問題に対処するために、逆ビューワーピングテクニックを導入して、パス外ビューの再構築のための監督としてコンパクトで高品質の画像を作成し、それらのビューの高品質のレンダリング結果を可能にします。
正確で堅牢な逆ビューワーピングのために、最適化プロセス中に飛行中の密な深度マップを取得するために深さブートストラップ戦略が提案され、ライダー深度データのスパース性と不完全性を克服します。
私たちの方法は、広く使用されているWaymo Open Datasetで優れたパス内およびパス外の再構築とレンダリングパフォーマンスを実現します。
さらに、シミュレーターベースのベンチマークが提案され、パス外のグラウンドトゥルースを取得し、パス外レンダリングのパフォーマンスを定量的に評価します。

要約(オリジナル)

Driving scene reconstruction and rendering have advanced significantly using the 3D Gaussian Splatting. However, most prior research has focused on the rendering quality along a pre-recorded vehicle path and struggles to generalize to out-of-path viewpoints, which is caused by the lack of high-quality supervision in those out-of-path views. To address this issue, we introduce an Inverse View Warping technique to create compact and high-quality images as supervision for the reconstruction of the out-of-path views, enabling high-quality rendering results for those views. For accurate and robust inverse view warping, a depth bootstrap strategy is proposed to obtain on-the-fly dense depth maps during the optimization process, overcoming the sparsity and incompleteness of LiDAR depth data. Our method achieves superior in-path and out-of-path reconstruction and rendering performance on the widely used Waymo Open dataset. In addition, a simulator-based benchmark is proposed to obtain the out-of-path ground truth and quantitatively evaluate the performance of out-of-path rendering, where our method outperforms previous methods by a significant margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google