Para-Lane: Multi-Lane Dataset Registering Parallel Scans for Benchmarking Novel View Synthesis

要約

エンドツーエンドの自律駆動システムを評価するには、特に架空のシナリオで、以前に記録されたシーケンスの写真と現実的な画像とポイントクラウドを合成する、新しいビュー合成（NVS）技術に基づくシミュレーション環境が不可欠です。
。
したがって、マルチレーンデータセットとベンチマークの開発が必要です。
最近の合成シーンベースのNVSデータセットは、クロスレーンベンチマークのために準備されていますが、キャプチャされた画像とポイントクラウドのリアリズムがまだ欠けています。
NERFと3DGSに基づいた既存のメソッドのパフォーマンスをさらに評価するために、16,000のフロントシーケンスを含む25のグループの関連するシーケンスを含む25のグループのグループを含む、実世界のスキャンから派生した新しい運転ビュー合成データセットのために特に並列スキャンを登録する最初のマルチレーンデータセットを登録する最初のマルチレーンデータセットを紹介します。
画像、64,000のサラウンドビュー画像、および16,000のライダーフレームを表示します。
すべてのフレームには、移動するオブジェクトを静的要素から区別するためにラベルが付けられています。
このデータセットを使用して、さまざまなレーンと距離でさまざまなテストシナリオで既存のアプローチのパフォーマンスを評価します。
さらに、この方法は、現実世界でこのようなデータセットをキュレーションするためのマルチモーダルデータアライメントのマルチセンサーポーズの品質を解決および評価するためのソリューションを提供します。
さまざまなシナリオで既存のメソッドの一般化をテストするために、新しいシーケンスを継続的に追加する予定です。
データセットは、プロジェクトページhttps://nizqleo.github.io/paralane-dataset/で公開されています。

要約(オリジナル)

To evaluate end-to-end autonomous driving systems, a simulation environment based on Novel View Synthesis (NVS) techniques is essential, which synthesizes photo-realistic images and point clouds from previously recorded sequences under new vehicle poses, particularly in cross-lane scenarios. Therefore, the development of a multi-lane dataset and benchmark is necessary. While recent synthetic scene-based NVS datasets have been prepared for cross-lane benchmarking, they still lack the realism of captured images and point clouds. To further assess the performance of existing methods based on NeRF and 3DGS, we present the first multi-lane dataset registering parallel scans specifically for novel driving view synthesis dataset derived from real-world scans, comprising 25 groups of associated sequences, including 16,000 front-view images, 64,000 surround-view images, and 16,000 LiDAR frames. All frames are labeled to differentiate moving objects from static elements. Using this dataset, we evaluate the performance of existing approaches in various testing scenarios at different lanes and distances. Additionally, our method provides the solution for solving and assessing the quality of multi-sensor poses for multi-modal data alignment for curating such a dataset in real-world. We plan to continually add new sequences to test the generalization of existing methods across different scenarios. The dataset is released publicly at the project page: https://nizqleo.github.io/paralane-dataset/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google