Collecting Consistently High Quality Object Tracks with Minimal Human Involvement by Using Self-Supervised Learning to Detect Tracker Errors

要約

我々は、自動化されたオブジェクトトラッカーと人間の少ない入力を組み合わせることで、高品質のオブジェクトトラックを一貫して生成するためのハイブリッドフレームワークを提案する。重要なアイデアは、データセット毎にモジュールを調整し、オブジェクトトラッカーがいつ失敗するかをインテリジェントに判断することである。我々のアプローチは、ラベル付けされていないビデオで自己教師あり学習を活用し、ターゲットオブジェクトのために調整された表現を学習する。ラベル付けされたデータは必要ないので、我々のアプローチは新しいオブジェクトカテゴリに適用することができる。3つのデータセットを用いた実験により、我々の手法が、特に小さい物体、高速で移動する物体、あるいはオクルーデッド物体に対して、既存のアプローチを凌駕することを実証する。

要約(オリジナル)

We propose a hybrid framework for consistently producing high-quality object tracks by combining an automated object tracker with little human input. The key idea is to tailor a module for each dataset to intelligently decide when an object tracker is failing and so humans should be brought in to re-localize an object for continued tracking. Our approach leverages self-supervised learning on unlabeled videos to learn a tailored representation for a target object that is then used to actively monitor its tracked region and decide when the tracker fails. Since labeled data is not needed, our approach can be applied to novel object categories. Experiments on three datasets demonstrate our method outperforms existing approaches, especially for small, fast moving, or occluded objects.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL