ProTracker: Probabilistic Integration for Robust and Accurate Point Tracking

要約

この論文では、ビデオ内の任意の点の堅牢かつ正確な長期高密度追跡のための新しいフレームワークである ProTracker を提案します。
私たちの方法の重要なアイデアは、確率的統合を組み込んで、オプティカル フローとセマンティック特徴の両方から複数の予測を洗練し、短期および長期の堅牢な追跡を実現することです。
具体的には、オプティカル フロー推定を確率的に統合し、各予測の尤度を最大化することで滑らかで正確な軌跡を生成します。
オクルージョンによって消えたり再び現れたりする困難なポイントを効果的に再位置特定するために、連続的な軌道生成のための流れ予測に長期的な特徴の対応をさらに組み込んでいます。
広範な実験により、ProTracker は教師なしアプローチと自己教師ありアプローチの中で最先端のパフォーマンスを達成し、いくつかのベンチマークでは教師ありメソッドを上回るパフォーマンスを示すことが示されています。
私たちのコードとモデルは、出版と同時に公開されます。

要約(オリジナル)

In this paper, we propose ProTracker, a novel framework for robust and accurate long-term dense tracking of arbitrary points in videos. The key idea of our method is incorporating probabilistic integration to refine multiple predictions from both optical flow and semantic features for robust short-term and long-term tracking. Specifically, we integrate optical flow estimations in a probabilistic manner, producing smooth and accurate trajectories by maximizing the likelihood of each prediction. To effectively re-localize challenging points that disappear and reappear due to occlusion, we further incorporate long-term feature correspondence into our flow predictions for continuous trajectory generation. Extensive experiments show that ProTracker achieves the state-of-the-art performance among unsupervised and self-supervised approaches, and even outperforms supervised methods on several benchmarks. Our code and model will be publicly available upon publication.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google