CoTracker: It is Better to Track Together

要約

CoTracker は、ビデオ シーケンス全体にわたってフレーム内の密集したポイントを共同で追跡するトランスフォーマー ベースのモデルです。
これは、相関関係を無視して点を独立して追跡する既存の最先端のアプローチのほとんどとは異なります。
共同追跡により、追跡精度と堅牢性が大幅に向上することを示します。
また、CoTracker が 70,000 点を共同かつ同時に追跡できるようにする仮想トラックの概念など、いくつかの技術革新も提供しています。
さらに、CoTracker は短いウィンドウで因果的に動作します (したがって、オンライン タスクに適しています) が、より長いビデオ シーケンスにわたってウィンドウを展開することによってトレーニングされるため、長期的な追跡が可能になり、大幅に向上します。
私たちは、ポイントが遮られたり、視野から外れたりした場合でも、ポイントを長期間追跡できる、定性的に優れた追跡結果を実証します。
量的には、CoTracker は標準ベンチマークで最近のすべてのトラッカーよりも優れており、多くの場合大幅なマージンを持っています。

要約(オリジナル)

We introduce CoTracker, a transformer-based model that tracks dense points in a frame jointly across a video sequence. This differs from most existing state-of-the-art approaches that track points independently, ignoring their correlation. We show that joint tracking results in a significantly higher tracking accuracy and robustness. We also provide several technical innovations, including the concept of virtual tracks, which allows CoTracker to track 70k points jointly and simultaneously. Furthermore, CoTracker operates causally on short windows (hence, it is suitable for online tasks), but is trained by unrolling the windows across longer video sequences, which enables and significantly improves long-term tracking. We demonstrate qualitatively impressive tracking results, where points can be tracked for a long time even when they are occluded or leave the field of view. Quantitatively, CoTracker outperforms all recent trackers on standard benchmarks, often by a substantial margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google