要約
少数ショット補間や外挿設定を含む自心3Dおよび4D再構成のモデルは、監督信号として外心視点からの画像を持つことで恩恵を受けることができる。既存のデータセットには、複雑で動的な多視点データの混合を提供するものはない。自律走行の文脈における3Dおよび4D再構成手法の開発を促進するために、我々はSynthetic Ego–Exo Dynamic 4D(SEED4D)データジェネレータとデータセットを提案する。時空間マルチビューデータ作成のためのカスタマイズ可能で使いやすいデータジェネレータを紹介する。我々のオープンソースデータジェネレータは、NuScenes、KITTI360、Waymoデータセットで一般的に使用されているカメラセットアップ用の合成データを作成することができます。さらに、SEED4Dには2つの大規模なマルチビュー合成都市シーンデータセットが含まれています。静的(3D)データセットには、2kシーンからの212kの内向きと外向きの車両画像が含まれ、動的(4D)データセットには、10kの軌跡からの1,680万枚の画像が含まれます。データセットとデータジェネレーターはhttps://seed4d.github.io/。
要約(オリジナル)
Models for egocentric 3D and 4D reconstruction, including few-shot interpolation and extrapolation settings, can benefit from having images from exocentric viewpoints as supervision signals. No existing dataset provides the necessary mixture of complex, dynamic, and multi-view data. To facilitate the development of 3D and 4D reconstruction methods in the autonomous driving context, we propose a Synthetic Ego–Exo Dynamic 4D (SEED4D) data generator and dataset. We present a customizable, easy-to-use data generator for spatio-temporal multi-view data creation. Our open-source data generator allows the creation of synthetic data for camera setups commonly used in the NuScenes, KITTI360, and Waymo datasets. Additionally, SEED4D encompasses two large-scale multi-view synthetic urban scene datasets. Our static (3D) dataset encompasses 212k inward- and outward-facing vehicle images from 2k scenes, while our dynamic (4D) dataset contains 16.8M images from 10k trajectories, each sampled at 100 points in time with egocentric images, exocentric images, and LiDAR data. The datasets and the data generator can be found at https://seed4d.github.io/.
arxiv情報
著者 | Marius Kästingschäfer,Théo Gieruc,Sebastian Bernhard,Dylan Campbell,Eldar Insafutdinov,Eyvaz Najafli,Thomas Brox |
発行日 | 2025-02-03 10:21:34+00:00 |
arxivサイト | arxiv_id(pdf) |