OneTracker: Unifying Visual Object Tracking with Foundation Models and Efficient Tuning

要約

視覚オブジェクト追跡は、最初のフレームでの最初の出現に基づいて各フレームのターゲット オブジェクトの位置を特定することを目的としています。
入力モジュールに応じて、トラッキング タスクは RGB トラッキングと RGB+X (例: RGB+N、RGB+D) トラッキングに分けることができます。
入力モダリティは異なりますが、追跡の中核となるのは時間的なマッチングです。
この共通基盤に基づいて、OneTracker と呼ばれる、さまざまな追跡タスクを統合するための一般的なフレームワークを提示します。
OneTracker は、まず Foundation Tracker と呼ばれる RGB トラッカーで大規模な事前トレーニングを実行します。
この事前トレーニング フェーズにより、Foundation Tracker にターゲット オブジェクトの位置を推定する安定した機能が備わります。
次に、他のモダリティ情報をプロンプトとみなして、Foundation Tracker の上に Prompt Tracker を構築します。
Foundation Tracker をフリーズし、いくつかの追加のトレーニング可能なパラメーターのみを調整することで、Prompt Tracker は Foundation Tracker の強力なローカリゼーション機能を抑制し、ダウンストリーム RGB+X トラッキング タスクでパラメーター効率の高い微調整を実現します。
Foundation Tracker と Prompt Tracker で構成される一般的なフレームワーク OneTracker の有効性を評価するために、11 のベンチマークにわたる 6 つの一般的な追跡タスクについて広範な実験を実施しました。その結果、OneTracker は他のモデルを上回り、最先端のパフォーマンスを達成しました。

要約(オリジナル)

Visual object tracking aims to localize the target object of each frame based on its initial appearance in the first frame. Depending on the input modility, tracking tasks can be divided into RGB tracking and RGB+X (e.g. RGB+N, and RGB+D) tracking. Despite the different input modalities, the core aspect of tracking is the temporal matching. Based on this common ground, we present a general framework to unify various tracking tasks, termed as OneTracker. OneTracker first performs a large-scale pre-training on a RGB tracker called Foundation Tracker. This pretraining phase equips the Foundation Tracker with a stable ability to estimate the location of the target object. Then we regard other modality information as prompt and build Prompt Tracker upon Foundation Tracker. Through freezing the Foundation Tracker and only adjusting some additional trainable parameters, Prompt Tracker inhibits the strong localization ability from Foundation Tracker and achieves parameter-efficient finetuning on downstream RGB+X tracking tasks. To evaluate the effectiveness of our general framework OneTracker, which is consisted of Foundation Tracker and Prompt Tracker, we conduct extensive experiments on 6 popular tracking tasks across 11 benchmarks and our OneTracker outperforms other models and achieves state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google