DualRefine: Self-Supervised Depth and Pose Estimation Through Iterative Epipolar Sampling and Refinement Toward Equilibrium

要約

タイトル「DualRefine：反復エピポーラサンプリングと均衡に向けたリファインを通した自己教師あり深度とポーズ推定」
要約：
– 自己教師ありマルチフレーム深度推定は、隣り合うフレームのピクセル対応のマッチングコストを計算することにより高い精度を実現しており、ネットワークに幾何学的情報を注入する。
– これらのピクセル対応候補は、フレーム間の相対ポーズの推定に基づいて計算される。
– 正確な姿勢推定は、エピポーラ幾何に影響を与えるため、正確なマッチングコストの計算にとって重要である。
– さらに、改善された深度推定は、ポーズ推定の整列に使用することができる。
– 伝統的な構造復元（SfM）の原則に影響を受け、深度推定とポーズ推定をフィードバックループで密接に結合するDualRefineモデルを提案する。
– 私たちの新しい更新パイプラインは、エピポーラ幾何に基づく局所マッチングコストを計算することにより、ディープ均衡モデルフレームワークを使用して深度推定と特徴マップの隠れた状態を反復的に改良する。
– 重要なことに、リファインされた深度推定と特徴マップを使用して、各ステップでポーズ更新を計算する。
– ポーズ推定のこのアップデートにより、リファインプロセス中にエピポーラ幾何がゆっくりと変化する。
– KITTIデータセット上の実験結果は、発表された自己教師ありベースラインよりも優れた深度予測とオドメトリ予測のパフォーマンスを実証している。

要約(オリジナル)

Self-supervised multi-frame depth estimation achieves high accuracy by computing matching costs of pixel correspondences between adjacent frames, injecting geometric information into the network. These pixel-correspondence candidates are computed based on the relative pose estimates between the frames. Accurate pose predictions are essential for precise matching cost computation as they influence the epipolar geometry. Furthermore, improved depth estimates can, in turn, be used to align pose estimates. Inspired by traditional structure-from-motion (SfM) principles, we propose the DualRefine model, which tightly couples depth and pose estimation through a feedback loop. Our novel update pipeline uses a deep equilibrium model framework to iteratively refine depth estimates and a hidden state of feature maps by computing local matching costs based on epipolar geometry. Importantly, we used the refined depth estimates and feature maps to compute pose updates at each step. This update in the pose estimates slowly alters the epipolar geometry during the refinement process. Experimental results on the KITTI dataset demonstrate competitive depth prediction and odometry prediction performance surpassing published self-supervised baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI