Dense Optical Tracking: Connecting the Dots

要約

最近の点追跡のアプローチは、オクルージョンの存在にもかかわらず、映像の大部分を通して任意のシーン点の軌跡を回復することができる。しかし、1つのフレームで観察される全ての点を合理的な時間で追跡するには、実際には遅すぎる。本稿では、この問題を解決するための、新規でシンプルかつ効率的な手法であるDOTを紹介する。DOTはまず、市販のポイントトラッキングアルゴリズムを用いて、動きの境界の重要な領域から小さなトラックセットを抽出する。次に、ソースフレームとターゲットフレームが与えられると、DOTは最近傍補間により密なフローフィールドと視認性マスクの大まかな初期推定値を計算し、その後、オクルージョンを明示的に処理し、グラウンドトゥルースの対応関係を持つ合成データで学習可能なオプティカルフロー推定器を用いてそれらを改良する。我々は、DOTが現在のオプティカルフロー技術よりも著しく正確であり、OmniMotionのような洗練された「ユニバーサル」トラッカーよりも優れており、CoTrackerのような最高のポイントトラッキングアルゴリズムと同等かそれ以上でありながら、少なくとも2桁高速であることを示す。合成動画と実動画を用いた定量的・定性的な実験により、提案するアプローチの有望性を検証します。我々のアプローチの能力を紹介するコード、データ、ビデオはプロジェクトのウェブページで入手可能です： https://16lemoing.github.io/dot 。

要約(オリジナル)

Recent approaches to point tracking are able to recover the trajectory of any scene point through a large portion of a video despite the presence of occlusions. They are, however, too slow in practice to track every point observed in a single frame in a reasonable amount of time. This paper introduces DOT, a novel, simple and efficient method for solving this problem. It first extracts a small set of tracks from key regions at motion boundaries using an off-the-shelf point tracking algorithm. Given source and target frames, DOT then computes rough initial estimates of a dense flow field and visibility mask through nearest-neighbor interpolation, before refining them using a learnable optical flow estimator that explicitly handles occlusions and can be trained on synthetic data with ground-truth correspondences. We show that DOT is significantly more accurate than current optical flow techniques, outperforms sophisticated ‘universal’ trackers like OmniMotion, and is on par with, or better than, the best point tracking algorithms like CoTracker while being at least two orders of magnitude faster. Quantitative and qualitative experiments with synthetic and real videos validate the promise of the proposed approach. Code, data, and videos showcasing the capabilities of our approach are available in the project webpage: https://16lemoing.github.io/dot .

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL