SCRREAM : SCan, Register, REnder And Map:A Framework for Annotating Accurate and Dense 3D Indoor Scenes with a Benchmark

要約

従来、3D 屋内データセットは一般的に、一般化を向上させるために、グラウンドトゥルースの精度よりもスケールを優先してきました。
ただし、これらのデータセットを使用して深度レンダリングなどの高密度ジオメトリ タスクを評価すると、データセットのメッシュが不完全であることが多く、詳細を評価するための間違ったグラウンド トゥルースが生成される可能性があるため、問題が発生する可能性があります。
この論文では、シーン内のオブジェクトの完全に密なメッシュのアノテーションを可能にし、実際の画像シーケンス上でカメラのポーズを登録できるデータセット アノテーション フレームワークである SCRREAM を提案します。これにより、疎な 3D タスクと密な 3D タスクの両方に対して正確なグランド トゥルースを生成できます。
。
データセット アノテーション パイプラインの詳細を示し、フレームワークから取得できるデータセットの 4 つの可能なバリアントを、屋内再構成と SLAM、シーン編集とオブジェクトの削除、人物の再構成、6D 姿勢推定などのサンプル シーンとともに紹介します。
屋内再構築および SLAM 用の最近のパイプラインは、新しいベンチマークとして機能します。
以前の屋内データセットとは対照的に、私たちの設計では、正確にレンダリングされたグラウンド トゥルース深度マップに対して 11 のサンプル シーンで密なジオメトリ タスクを評価できます。

要約(オリジナル)

Traditionally, 3d indoor datasets have generally prioritized scale over ground-truth accuracy in order to obtain improved generalization. However, using these datasets to evaluate dense geometry tasks, such as depth rendering, can be problematic as the meshes of the dataset are often incomplete and may produce wrong ground truth to evaluate the details. In this paper, we propose SCRREAM, a dataset annotation framework that allows annotation of fully dense meshes of objects in the scene and registers camera poses on the real image sequence, which can produce accurate ground truth for both sparse 3D as well as dense 3D tasks. We show the details of the dataset annotation pipeline and showcase four possible variants of datasets that can be obtained from our framework with example scenes, such as indoor reconstruction and SLAM, scene editing & object removal, human reconstruction and 6d pose estimation. Recent pipelines for indoor reconstruction and SLAM serve as new benchmarks. In contrast to previous indoor dataset, our design allows to evaluate dense geometry tasks on eleven sample scenes against accurately rendered ground truth depth maps.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google