RGBD1K: A Large-scale Dataset and Benchmark for RGB-D Object Tracking

要約

RGB-D オブジェクト トラッキングは最近かなりの注目を集めており、ビジュアル チャネルと深度チャネルの共生のおかげで有望なパフォーマンスを実現しています。
ただし、限られた量の注釈付き RGB-D 追跡データを考えると、ほとんどの最先端の RGB-D トラッカーは、高性能 RGB-D トラッカーの単純な拡張であり、深さチャネルの潜在的な可能性を十分に活用することはありません。
オフライン トレーニング ステージ。
データセットの不足の問題に対処するために、RGBD1K という名前の新しい RGB-D データセットがこのペーパーでリリースされています。
RGBD1K には、合計で約 250 万フレームの 1,050 シーケンスが含まれています。
一般に大規模な RGB-D データ セット、特に RGBD1K でのトレーニングの利点を実証するために、新しいデータセットを使用した将来の視覚オブジェクト追跡研究のベースラインとして、SPT という名前のトランスフォーマー ベースの RGB-D トラッカーを開発します。
SPTトラッカーを使用した広範な実験の結果は、RGB-Dトラッキングのパフォーマンスを向上させるRGBD1Kデータセットの可能性を実証し、効果的なトラッカー設計の将来の開発を刺激します.
データセットとコードは、プロジェクトのホームページ (https://github.com/xuefeng-zhu5/RGBD1K) で入手できます。

要約(オリジナル)

RGB-D object tracking has attracted considerable attention recently, achieving promising performance thanks to the symbiosis between visual and depth channels. However, given a limited amount of annotated RGB-D tracking data, most state-of-the-art RGB-D trackers are simple extensions of high-performance RGB-only trackers, without fully exploiting the underlying potential of the depth channel in the offline training stage. To address the dataset deficiency issue, a new RGB-D dataset named RGBD1K is released in this paper. The RGBD1K contains 1,050 sequences with about 2.5M frames in total. To demonstrate the benefits of training on a larger RGB-D data set in general, and RGBD1K in particular, we develop a transformer-based RGB-D tracker, named SPT, as a baseline for future visual object tracking studies using the new dataset. The results, of extensive experiments using the SPT tracker emonstrate the potential of the RGBD1K dataset to improve the performance of RGB-D tracking, inspiring future developments of effective tracker designs. The dataset and codes will be available on the project homepage: https://github.com/xuefeng-zhu5/RGBD1K.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google