WayveScenes101: A Dataset and Benchmark for Novel View Synthesis in Autonomous Driving

要約

WayveScenes101 は、ジオメトリとテクスチャが変化する多くの動的で変形可能な要素を含む、挑戦的な運転シーンに焦点を当てた、新しいビュー合成におけるコミュニティの最先端技術の進歩を支援するために設計されたデータセットです。
このデータセットは、幅広い環境条件と運転シナリオにわたる 101 の運転シーンで構成されています。
このデータセットは、自然の運転シーンでの再構築のベンチマーク用に設計されており、画像のグレア、急速な露出変化、重大なオクルージョンを伴う非常にダイナミックなシーンなど、シーン再構築手法には多くの固有の課題があります。
RAW 画像とともに、COLMAP から派生したカメラポーズが標準データ形式で含まれています。
トレーニングビューから軸外にあるカメラビュー上でモデルを評価し、特にメソッドの一般化機能をテストするための評価プロトコルを提案します。
最後に、天気、時刻、交通状況などの詳細なメタデータをすべてのシーンに提供し、シーンの特性全体でモデルのパフォーマンスを詳細に分析できるようにします。
データセットとコードは https://github.com/wayveai/wayve_scenes で入手できます。

要約(オリジナル)

We present WayveScenes101, a dataset designed to help the community advance the state of the art in novel view synthesis that focuses on challenging driving scenes containing many dynamic and deformable elements with changing geometry and texture. The dataset comprises 101 driving scenes across a wide range of environmental conditions and driving scenarios. The dataset is designed for benchmarking reconstructions on in-the-wild driving scenes, with many inherent challenges for scene reconstruction methods including image glare, rapid exposure changes, and highly dynamic scenes with significant occlusion. Along with the raw images, we include COLMAP-derived camera poses in standard data formats. We propose an evaluation protocol for evaluating models on held-out camera views that are off-axis from the training views, specifically testing the generalisation capabilities of methods. Finally, we provide detailed metadata for all scenes, including weather, time of day, and traffic conditions, to allow for a detailed model performance breakdown across scene characteristics. Dataset and code are available at https://github.com/wayveai/wayve_scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google