Tracking Everything Everywhere All at Once

要約

ビデオシーケンスから高密度で長距離の動きを推定するための新しいテスト時間最適化方法を提案します。
従来のオプティカル フローまたはパーティクル ビデオ追跡アルゴリズムは通常、限られた時間ウィンドウ内で動作し、オクルージョンを介して追跡し、推定された運動軌跡の全体的な一貫性を維持するのに苦労していました。
私たちは、ビデオ内のすべてのピクセルの正確な全長モーション推定を可能にする、OmniMotion と呼ばれる、完全でグローバルに一貫したモーション表現を提案します。
OmniMotion は、準 3D 正準ボリュームを使用してビデオを表し、ローカル空間と正準空間の間の全単射を介してピクセル単位の追跡を実行します。
この表現により、グローバルな一貫性を確保し、オクルージョンを追跡し、カメラとオブジェクトの動きのあらゆる組み合わせをモデル化することができます。
TAP-Vid ベンチマークと実際の映像に関する広範な評価により、私たちのアプローチが量的にも質的にも従来の最先端の方法を大幅に上回っていることが示されています。
その他の結果については、プロジェクト ページを参照してください: http://omnimotion.github.io/

要約(オリジナル)

We present a new test-time optimization method for estimating dense and long-range motion from a video sequence. Prior optical flow or particle video tracking algorithms typically operate within limited temporal windows, struggling to track through occlusions and maintain global consistency of estimated motion trajectories. We propose a complete and globally consistent motion representation, dubbed OmniMotion, that allows for accurate, full-length motion estimation of every pixel in a video. OmniMotion represents a video using a quasi-3D canonical volume and performs pixel-wise tracking via bijections between local and canonical space. This representation allows us to ensure global consistency, track through occlusions, and model any combination of camera and object motion. Extensive evaluations on the TAP-Vid benchmark and real-world footage show that our approach outperforms prior state-of-the-art methods by a large margin both quantitatively and qualitatively. See our project page for more results: http://omnimotion.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google