Leveraging Object Priors for Point Tracking

要約

ポイント トラッキングは、AR やロボット工学における数多くのアプリケーションを伴うコンピューター ビジョンの基本的な問題です。
長期的なポイント追跡における一般的な失敗モードは、予測されたポイントが属するオブジェクトから離れ、背景または別のオブジェクトに着地するときに発生します。
私たちはこれを、追跡を学習する際にオブジェクト性の特性を正しく捕捉できていないこととして認識しています。
従来の研究のこの制限に対処するために、我々は、ポイントがオブジェクト インスタンスの境界内に留まるようにすることで、オブジェクト事前分布を認識するようにポイントを誘導する、新しいオブジェクトネス正則化アプローチを提案します。
トレーニング時にオブジェクト性の手がかりをキャプチャすることで、テスト中にオブジェクト マスクを計算する必要がなくなりました。
さらに、文脈上の注意を活用して、特徴レベルでオブジェクト性をより効果的に捉えるための特徴表現を強化します。
その結果、当社のアプローチは 3 点追跡ベンチマークで最先端のパフォーマンスを達成し、アブレーション研究を通じてコン​​ポーネントの有効性をさらに検証します。
ソースコードはhttps://github.com/RehgLab/tracking_objectnessから入手できます。

要約(オリジナル)

Point tracking is a fundamental problem in computer vision with numerous applications in AR and robotics. A common failure mode in long-term point tracking occurs when the predicted point leaves the object it belongs to and lands on the background or another object. We identify this as the failure to correctly capture objectness properties in learning to track. To address this limitation of prior work, we propose a novel objectness regularization approach that guides points to be aware of object priors by forcing them to stay inside the the boundaries of object instances. By capturing objectness cues at training time, we avoid the need to compute object masks during testing. In addition, we leverage contextual attention to enhance the feature representation for capturing objectness at the feature level more effectively. As a result, our approach achieves state-of-the-art performance on three point tracking benchmarks, and we further validate the effectiveness of our components via ablation studies. The source code is available at: https://github.com/RehgLab/tracking_objectness

arxiv情報

提供元, 利用サービス

arxiv.jp, Google