SLAM&Render: A Benchmark for the Intersection Between Neural Rendering, Gaussian Splatting and SLAM

要約

元々、ニューラル放射輝度フィールド（NERF）やガウスのスプラッティングなど、新しいビューの合成とシーンレンダリング用に開発されたモデルと方法は、同時局在とマッピング（SLAM）の表現としてますます採用されています。
ただし、既存のデータセットには、マルチモダリティやスラムのシーケンシャルや、視点での一般化やニューラルレンダリングの照明条件など、両方のフィールドの特定の課題を含めることができません。
このギャップを埋めるために、Slam＆Renderを紹介します。これは、スラムと新しいビューレンダリングの交差点でメソッドをベンチマークするように設計された新しいデータセットです。
これは、同期されたRGB、深さ、IMU、ロボットの運動学データ、およびグラウンドトゥルースポーズストリームを備えた40のシーケンスで構成されています。
ロボットの運動学的データをリリースすることにより、データセットは、ロボットマニピュレーターに適用されたときに、新しいスラム戦略の評価も可能にします。
データセットシーケンスは、4つの異なる照明条件下で消費者と産業のオブジェクトを特徴とする5つの異なるセットアップに及び、シーンごとの個別のトレーニングとテストの軌跡、およびオブジェクトの再配置を備えています。
文献からいくつかのベースラインで得られた実験結果は、この新興研究分野の関連ベンチマークとしてSlam＆Renderを検証します。

要約(オリジナル)

Models and methods originally developed for novel view synthesis and scene rendering, such as Neural Radiance Fields (NeRF) and Gaussian Splatting, are increasingly being adopted as representations in Simultaneous Localization and Mapping (SLAM). However, existing datasets fail to include the specific challenges of both fields, such as multimodality and sequentiality in SLAM or generalization across viewpoints and illumination conditions in neural rendering. To bridge this gap, we introduce SLAM&Render, a novel dataset designed to benchmark methods in the intersection between SLAM and novel view rendering. It consists of 40 sequences with synchronized RGB, depth, IMU, robot kinematic data, and ground-truth pose streams. By releasing robot kinematic data, the dataset also enables the assessment of novel SLAM strategies when applied to robot manipulators. The dataset sequences span five different setups featuring consumer and industrial objects under four different lighting conditions, with separate training and test trajectories per scene, as well as object rearrangements. Our experimental results, obtained with several baselines from the literature, validate SLAM&Render as a relevant benchmark for this emerging research area.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google