DATAP-SfM: Dynamic-Aware Tracking Any Point for Robust Structure from Motion in the Wild

要約

この論文では、滑らかなカメラ軌跡を推定し、実際のカジュアルビデオの高密度点群を取得するための、簡潔でエレガントかつ堅牢なパイプラインを提案します。
ParticleSfM~\cite{zhao2022particlesfm} などの従来のフレームワークは、隣接するフレーム間のオプティカル フローを順次計算して点の軌跡を取得することで、この問題に対処します。
次に、モーション セグメンテーションを通じて動的軌道を削除し、グローバル バンドル調整を実行します。
ただし、2 つの隣接するフレーム間のオプティカル フローを推定し、一致を連鎖させるプロセスでは、累積誤差が発生する可能性があります。
さらに、モーション セグメンテーションを単一ビューの深度推定と組み合わせると、スケールの曖昧さに関連する課題に直面することがよくあります。
これらの課題に取り組むために、一貫したビデオ深度およびポイント トラッキングを活用する動的認識トラッキング任意ポイント (DATAP) 方法を提案します。
具体的には、当社の DATAP は、ビデオ シーケンス全体にわたる密なポイント トラッキングを推定し、各ポイントの可視性とダイナミクスを予測することで、これらの問題に対処します。
一貫したビデオ深度を事前に組み込むことにより、モーション セグメンテーションのパフォーマンスが向上します。
DATAP の統合により、増分カメラ登録に依存するのではなく、静的および可視として分類されるポイント追跡のグローバル バンドル調整を実行することにより、すべてのカメラのポーズを同時に推定および最適化することが可能になります。
動的シーケンス（Sintel および TUM RGBD 動的シーケンスなど）、および野生ビデオ（DAVIS など）に関する広範な実験により、提案された方法が複雑な動的課題においてもカメラ姿勢推定の点で最先端のパフォーマンスを達成できることが実証されています。
シーン。

要約(オリジナル)

This paper proposes a concise, elegant, and robust pipeline to estimate smooth camera trajectories and obtain dense point clouds for casual videos in the wild. Traditional frameworks, such as ParticleSfM~\cite{zhao2022particlesfm}, address this problem by sequentially computing the optical flow between adjacent frames to obtain point trajectories. They then remove dynamic trajectories through motion segmentation and perform global bundle adjustment. However, the process of estimating optical flow between two adjacent frames and chaining the matches can introduce cumulative errors. Additionally, motion segmentation combined with single-view depth estimation often faces challenges related to scale ambiguity. To tackle these challenges, we propose a dynamic-aware tracking any point (DATAP) method that leverages consistent video depth and point tracking. Specifically, our DATAP addresses these issues by estimating dense point tracking across the video sequence and predicting the visibility and dynamics of each point. By incorporating the consistent video depth prior, the performance of motion segmentation is enhanced. With the integration of DATAP, it becomes possible to estimate and optimize all camera poses simultaneously by performing global bundle adjustments for point tracking classified as static and visible, rather than relying on incremental camera registration. Extensive experiments on dynamic sequences, e.g., Sintel and TUM RGBD dynamic sequences, and on the wild video, e.g., DAVIS, demonstrate that the proposed method achieves state-of-the-art performance in terms of camera pose estimation even in complex dynamic challenge scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google