XLD: A Cross-Lane Dataset for Benchmarking Novel Driving View Synthesis

要約

自動運転車の安全性を追求するには、自動運転システムを徹底的にテストすることが重要です。
これらのシナリオの多くは公道ではめったに発生しないため、実世界のデータから安全に収集できる範囲を超える安全性が重要なシナリオを作成する必要があります。
ただし、ほとんどの既存の NVS 手法の評価は、メトリクスを使用してレンダリングされたイメージとグラウンド トゥルース イメージを比較する、トレーニング データからのイメージ フレームの散発的なサンプリングに依存しています。
残念ながら、この評価プロトコルは閉ループ シミュレーションの実際の要件を満たすには至っていません。
具体的には、実際のアプリケーションでは、元の軌道を超えて広がる新しいビュー (車線を越えたビューなど) をレンダリングする機能が必要ですが、現実の世界でこれをキャプチャするのは困難です。
これに対処するために、この論文では、自動運転シミュレーション用に特別に設計された新しいドライビング ビュー合成データセットとベンチマークを紹介します。
このデータセットは、トレーニング軌道から 1 ～ 4 メートル逸脱してキャプチャされたテスト画像が含まれているため、ユニークです。
さまざまな時間と気象条件を含む 6 つのシーケンスで構成されます。
各シーケンスには、450 個のトレーニング画像、150 個のテスト画像、およびそれらに対応するカメラ ポーズと固有パラメーターが含まれています。
この新しいデータセットを活用して、フロントのみおよびマルチカメラ設定の下で既存の NVS アプローチを評価するための最初の現実的なベンチマークを確立します。
この実験結果は、現在のアプローチに存在する大きなギャップを強調し、クロスレーンまたは閉ループ シミュレーションの厳しい前提条件を満たす能力が不十分であることを明らかにしています。
私たちのデータセットはプロジェクト ページ: https://3d-aigc.github.io/XLD/ で公開されています。

要約(オリジナル)

Thoroughly testing autonomy systems is crucial in the pursuit of safe autonomous driving vehicles. It necessitates creating safety-critical scenarios that go beyond what can be safely collected from real-world data, as many of these scenarios occur infrequently on public roads. However, the evaluation of most existing NVS methods relies on sporadic sampling of image frames from the training data, comparing the rendered images with ground truth images using metrics. Unfortunately, this evaluation protocol falls short of meeting the actual requirements in closed-loop simulations. Specifically, the true application demands the capability to render novel views that extend beyond the original trajectory (such as cross-lane views), which are challenging to capture in the real world. To address this, this paper presents a novel driving view synthesis dataset and benchmark specifically designed for autonomous driving simulations. This dataset is unique as it includes testing images captured by deviating from the training trajectory by 1-4 meters. It comprises six sequences encompassing various time and weather conditions. Each sequence contains 450 training images, 150 testing images, and their corresponding camera poses and intrinsic parameters. Leveraging this novel dataset, we establish the first realistic benchmark for evaluating existing NVS approaches under front-only and multi-camera settings. The experimental findings underscore the significant gap that exists in current approaches, revealing their inadequate ability to fulfill the demanding prerequisites of cross-lane or closed-loop simulation. Our dataset is released publicly at the project page: https://3d-aigc.github.io/XLD/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google