The Drunkard’s Odometry: Estimating Camera Motion in Deforming Scenes

要約

変形可能なシーンでのカメラの動きを推定することは、複雑かつ未解決の研究課題を引き起こします。
モーション技術による既存の非剛体構造のほとんどは、アンカー基準を確立するために、変形するシーン部分に加えて、静的なシーン部分も観察することを前提としています。
ただし、この仮定は、内視鏡検査などの特定の関連アプリケーションの場合には当てはまりません。
変形可能なオドメトリと SLAM パイプラインは、探索軌道という最も困難なシナリオに取り組みますが、堅牢性と適切な定量的評価手法の欠如に悩まされています。
共通のベンチマークを使用してこの問題に取り組むために、変形可能な環境での視覚的なナビゲーションと再構成をターゲットとした合成データの挑戦的なコレクションである Drunkard’s Dataset を導入します。
このデータセットは、すべてのサーフェスが時間の経過とともに非剛体変形を示す 3D シーン内のグラウンド トゥルースを含む、探索用のカメラ軌跡の最初の大規模なセットです。
リアルな 3D 建物でのシミュレーションにより、カメラのポーズ、RGB イメージと深度、オプティカル フロー、高解像度と高品質の法線マップなどの膨大な量のデータとグラウンド トゥルース ラベルを取得できます。
さらに、オプティカル フロー推定を剛体カメラの動きと非剛体シーンの変形に分解する、Drunkard のオドメトリと呼ばれる新しい変形可能なオドメトリ方法を紹介します。
データを検証するために、私たちの作業には、いくつかのベースラインの評価と、グラウンド トゥルース データを必要としない新しい追跡エラー メトリックが含まれています。
データセットとコード: https://davidrecasens.github.io/TheDrunkard’sOdometry/

要約(オリジナル)

Estimating camera motion in deformable scenes poses a complex and open research challenge. Most existing non-rigid structure from motion techniques assume to observe also static scene parts besides deforming scene parts in order to establish an anchoring reference. However, this assumption does not hold true in certain relevant application cases such as endoscopies. Deformable odometry and SLAM pipelines, which tackle the most challenging scenario of exploratory trajectories, suffer from a lack of robustness and proper quantitative evaluation methodologies. To tackle this issue with a common benchmark, we introduce the Drunkard’s Dataset, a challenging collection of synthetic data targeting visual navigation and reconstruction in deformable environments. This dataset is the first large set of exploratory camera trajectories with ground truth inside 3D scenes where every surface exhibits non-rigid deformations over time. Simulations in realistic 3D buildings lets us obtain a vast amount of data and ground truth labels, including camera poses, RGB images and depth, optical flow and normal maps at high resolution and quality. We further present a novel deformable odometry method, dubbed the Drunkard’s Odometry, which decomposes optical flow estimates into rigid-body camera motion and non-rigid scene deformations. In order to validate our data, our work contains an evaluation of several baselines as well as a novel tracking error metric which does not require ground truth data. Dataset and code: https://davidrecasens.github.io/TheDrunkard’sOdometry/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google