Exploring Temporally-Aware Features for Point Tracking

要約

ビデオ内のポイント追跡は、ロボット工学やビデオ編集などのアプリケーションにおける基本的なタスクです。
多くのビジョン タスクは、一般化性を向上させるために事前トレーニングされた特徴バックボーンの恩恵を受けていますが、ポイント トラッキングは主に、合成データに基づいて最初からトレーニングされたより単純なバックボーンに依存しているため、現実世界のシナリオでは堅牢性が制限される可能性があります。
さらに、ポイント追跡では、フレーム間の一貫性を確保するために時間的な認識が必要ですが、時間的な認識機能の使用についてはまだ研究が進んでいません。
現在のほとんどの方法では、多くの場合 2 段階のプロセスが採用されています。つまり、最初の粗い予測の後に、時間情報を注入して粗い段階からの誤差を修正するための改良段階が続きます。
ただし、これらのアプローチは計算コストが高く、機能バックボーン自体が十分な時間情報を取得する場合は冗長になる可能性があります。
この作業では、時間認識が組み込まれたポイント追跡用に特別に設計された機能バックボーンである Chrono を紹介します。
自己教師あり学習器 DINOv2 の事前トレーニング済み表現を活用し、時間アダプターで強化された Chrono は、長期の時間コンテキストを効果的にキャプチャし、洗練段階がなくても正確な予測を可能にします。
実験結果は、Chrono が、ポイント トラッキングや DINOv2 で使用される共通の機能バックボーンの中で、TAP-Vid-DAVIS および TAP-Vid-Kinetics データセットのリファイナーなし設定で最先端のパフォーマンスを達成することを示しています。
効率。
プロジェクトページ：https://cvlab-kaist.github.io/Chrono/

要約(オリジナル)

Point tracking in videos is a fundamental task with applications in robotics, video editing, and more. While many vision tasks benefit from pre-trained feature backbones to improve generalizability, point tracking has primarily relied on simpler backbones trained from scratch on synthetic data, which may limit robustness in real-world scenarios. Additionally, point tracking requires temporal awareness to ensure coherence across frames, but using temporally-aware features is still underexplored. Most current methods often employ a two-stage process: an initial coarse prediction followed by a refinement stage to inject temporal information and correct errors from the coarse stage. These approach, however, is computationally expensive and potentially redundant if the feature backbone itself captures sufficient temporal information. In this work, we introduce Chrono, a feature backbone specifically designed for point tracking with built-in temporal awareness. Leveraging pre-trained representations from self-supervised learner DINOv2 and enhanced with a temporal adapter, Chrono effectively captures long-term temporal context, enabling precise prediction even without the refinement stage. Experimental results demonstrate that Chrono achieves state-of-the-art performance in a refiner-free setting on the TAP-Vid-DAVIS and TAP-Vid-Kinetics datasets, among common feature backbones used in point tracking as well as DINOv2, with exceptional efficiency. Project page: https://cvlab-kaist.github.io/Chrono/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google