MFT: Long-Term Tracking of Every Pixel

要約

私たちは、高密度、ピクセルレベル、長期追跡のための新しい方法である MFT (マルチフロー高密度トラッカー) を提案します。
このアプローチでは、連続するフレーム間だけでなく、対数的に間隔をあけたフレームのペアについても推定されたオプティカル フローを利用します。
事前トレーニングされた CNN によって提供される幾何学的精度とオクルージョンの確率の推定に基づいて、最も信頼性の高いフロー シーケンスが選択されます。
MFT が TAP-Vid ベンチマークで競争力のあるパフォーマンスを達成し、ベースラインを大幅に上回るパフォーマンスを示し、最先端のポイント追跡手法よりも桁違いに高速に高密度で追跡できることを示します。
この方法は中程度の長さのオクルージョンの影響を受けず、基準フレームを基準にしてフローを推定することで強化され、ドリフトが減少します。

要約(オリジナル)

We propose MFT — Multi-Flow dense Tracker — a novel method for dense, pixel-level, long-term tracking. The approach exploits optical flows estimated not only between consecutive frames, but also for pairs of frames at logarithmically spaced intervals. It selects the most reliable sequence of flows on the basis of estimates of its geometric accuracy and the probability of occlusion, both provided by a pre-trained CNN. We show that MFT achieves competitive performance on the TAP-Vid benchmark, outperforming baselines by a significant margin, and tracking densely orders of magnitude faster than the state-of-the-art point-tracking methods. The method is insensitive to medium-length occlusions and it is robustified by estimating flow with respect to the reference frame, which reduces drift.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google