Decomposition Betters Tracking Everything Everywhere

要約

動き推定に関する最近の研究では、ビデオ全体にわたって、できればすべてのピクセルに対してグローバルに一貫した、最適化された動き表現が提唱されています。
均一な表現では自然ビデオの複雑で多様な動きや外観を考慮できない可能性があるため、これは困難です。
私たちはこの問題に対処し、ピクセルごとの長距離の動きを推定するための DecoMotion という名前の新しいテスト時間最適化方法を提案します。
DecoMotion は、ビデオ コンテンツを静的シーンと動的オブジェクトに明示的に分解します。どちらも、表現するために準 3D 正規ボリュームを使用します。
DecoMotion は、ローカル空間と標準空間の間の変換を個別に調整し、カメラの動きに対応する静的シーンのアフィン変換を容易にします。
ダイナミック ボリュームの場合、DecoMotion は識別的で時間的に一貫した機能を活用して、非剛体変換を修正します。
2 つのボリュームが最終的に融合され、動きと外観が完全に表現されます。
この分割統治戦略により、オクルージョンと変形によるより堅牢な追跡が可能になり、同時に分解された外観が得られます。
TAP-Vidベンチマークで評価を行っております。
結果は、私たちの方法がポイント追跡の精度を大幅に向上させ、一部の最先端の専用ポイント追跡ソリューションと同等のパフォーマンスを発揮することを示しています。

要約(オリジナル)

Recent studies on motion estimation have advocated an optimized motion representation that is globally consistent across the entire video, preferably for every pixel. This is challenging as a uniform representation may not account for the complex and diverse motion and appearance of natural videos. We address this problem and propose a new test-time optimization method, named DecoMotion, for estimating per-pixel and long-range motion. DecoMotion explicitly decomposes video content into static scenes and dynamic objects, either of which uses a quasi-3D canonical volume to represent. DecoMotion separately coordinates the transformations between local and canonical spaces, facilitating an affine transformation for the static scene that corresponds to camera motion. For the dynamic volume, DecoMotion leverages discriminative and temporally consistent features to rectify the non-rigid transformation. The two volumes are finally fused to fully represent motion and appearance. This divide-and-conquer strategy leads to more robust tracking through occlusions and deformations and meanwhile obtains decomposed appearances. We conduct evaluations on the TAP-Vid benchmark. The results demonstrate our method boosts the point-tracking accuracy by a large margin and performs on par with some state-of-the-art dedicated point-tracking solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google