St4RTrack: Simultaneous 4D Reconstruction and Tracking in the World

要約

動的な3D再構成とビデオのポイント追跡は、通常、深いつながりにもかかわらず、個別のタスクとして扱われます。
RGB入力の世界座標フレームの動的なビデオコンテンツを同時に再構築および追跡するフィードフォワードフレームワークであるST4RTRACKを提案します。
これは、さまざまな瞬間にキャプチャされたフレームの2つの適切に定義されたポイントマップを予測することで達成されます。
具体的には、同じ世界で同じ瞬間に両方のポイントマップを予測し、3D対応を維持しながら静的シーンと動的シーンの両方のジオメトリをキャプチャします。
参照フレームに関するビデオシーケンスを介してこれらの予測をチェックすると、3D再構成と3D追跡を効果的に組み合わせて、長距離通信を自然に計算します。
4Dグラウンドトゥルースの監督に大きく依存している以前の方法とは異なり、私たちは、reprojectに基づいた新しい適応スキームを採用しています。
世界フレームの再構築と追跡のための新しい広範なベンチマークを確立し、統一されたデータ駆動型フレームワークの有効性と効率性を実証します。
コード、モデル、およびベンチマークがリリースされます。

要約(オリジナル)

Dynamic 3D reconstruction and point tracking in videos are typically treated as separate tasks, despite their deep connection. We propose St4RTrack, a feed-forward framework that simultaneously reconstructs and tracks dynamic video content in a world coordinate frame from RGB inputs. This is achieved by predicting two appropriately defined pointmaps for a pair of frames captured at different moments. Specifically, we predict both pointmaps at the same moment, in the same world, capturing both static and dynamic scene geometry while maintaining 3D correspondences. Chaining these predictions through the video sequence with respect to a reference frame naturally computes long-range correspondences, effectively combining 3D reconstruction with 3D tracking. Unlike prior methods that rely heavily on 4D ground truth supervision, we employ a novel adaptation scheme based on a reprojection loss. We establish a new extensive benchmark for world-frame reconstruction and tracking, demonstrating the effectiveness and efficiency of our unified, data-driven framework. Our code, model, and benchmark will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google