NAVI: Category-Agnostic Image Collections with High-Quality 3D Shape and Pose Annotations

要約

神経再構成の最近の進歩により、何気なく撮影した画像コレクションから高品質の 3D オブジェクトを再構成できるようになりました。
現在の技術は主に、Structure-from-Motion (SfM) 技術でグラウンド トゥルース (GT) カメラのポーズを提供できる、比較的単純な画像コレクションの進行状況を分析します。
SfM 技術は、さまざまな背景や照明を含む画像検索結果など、実際の画像コレクションでは失敗する傾向があることに注意してください。
カジュアルな画像キャプチャからの 3D 再構成に関する体系的な研究の進歩を可能にするために、私たちは NAVI を提案します。これは、高品質の 3D スキャンと画像ごとの 2D-3D アライメントを備えたカテゴリに依存しないオブジェクトの画像コレクションの新しいデータセットで、ほぼ完璧な GT カメラ パラメーターを提供します。
。
これらの 2D-3D 位置合わせにより、高密度ピクセル対応、深度マップ、セグメンテーション マップなどの正確な派生アノテーションを抽出できます。
さまざまな問題設定で NAVI 画像コレクションの使用を実証し、既存のデータセットでは不可能だったより徹底的な評価が NAVI によって可能になることを示します。
ナビは、3次元再構築と対応推定に関する体系的な研究の進展に有益であると考えています。
プロジェクトページ: https://navidataset.github.io

要約(オリジナル)

Recent advances in neural reconstruction enable high-quality 3D object reconstruction from casually captured image collections. Current techniques mostly analyze their progress on relatively simple image collections where Structure-from-Motion (SfM) techniques can provide ground-truth (GT) camera poses. We note that SfM techniques tend to fail on in-the-wild image collections such as image search results with varying backgrounds and illuminations. To enable systematic research progress on 3D reconstruction from casual image captures, we propose NAVI: a new dataset of category-agnostic image collections of objects with high-quality 3D scans along with per-image 2D-3D alignments providing near-perfect GT camera parameters. These 2D-3D alignments allow us to extract accurate derivative annotations such as dense pixel correspondences, depth and segmentation maps. We demonstrate the use of NAVI image collections on different problem settings and show that NAVI enables more thorough evaluations that were not possible with existing datasets. We believe NAVI is beneficial for systematic research progress on 3D reconstruction and correspondence estimation. Project page: https://navidataset.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google