CLDTracker: A Comprehensive Language Description for Visual Tracking

要約

投票は、動的な外観の変化、閉塞、および背景乱れにより、コンピュータービジョンにおける根本的でありながら挑戦的なタスクです。
主に視覚的な手がかりに依存している伝統的なトラッカーは、しばしばそのような複雑なシナリオで苦労しています。
VLMSの最近の進歩は、オープンボキャブラリー検出や画像キャプションなどのタスクのセマンティック理解に有望であることを示しており、投票の可能性を示唆しています。
ただし、VLMが投票するための直接的な適用は、重大な制限によって妨げられます。ターゲットオブジェクトのニュアンスを意味的にキャプチャする豊富で包括的なテキスト表現がないこと、言語情報の効果的な使用が制限されます。
視覚的およびテキストの特徴を最適に統合し、ターゲットの全体的な理解を妨げない非効率的な融合メカニズム。
また、言語ドメインにおけるターゲットの進化する外観の時間モデリングの欠如により、初期記述とオブジェクトのその後の視覚的変化との間に切断されます。
これらのギャップを埋め、VLMの票を最大限に発揮するためのロックを解除するために、堅牢な視覚追跡のための新しい包括的な言語説明フレームワークであるCldtrackerを提案します。
トラッカーは、テキストとビジュアルブランチで構成されるデュアルブランチアーキテクチャを紹介します。
テキストブランチでは、ClipやGPT-4Vなどの強力なVLMを利用することで導き出されたテキストの説明の豊富な袋を構築し、豊富なテキスト表現の欠如に対処するためにセマンティックおよびコンテキストの手がかりを備えています。
6つの標準票ベンチマークでの実験は、CldtrackerがSOTAパフォーマンスを達成し、追跡のための堅牢で時間的に適応性のあるビジョン言語表現を活用することの有効性を検証することを示しています。
コードとモデルは、https：//github.com/hamadya/cldtrackerで公開されています

要約(オリジナル)

VOT remains a fundamental yet challenging task in computer vision due to dynamic appearance changes, occlusions, and background clutter. Traditional trackers, relying primarily on visual cues, often struggle in such complex scenarios. Recent advancements in VLMs have shown promise in semantic understanding for tasks like open-vocabulary detection and image captioning, suggesting their potential for VOT. However, the direct application of VLMs to VOT is hindered by critical limitations: the absence of a rich and comprehensive textual representation that semantically captures the target object’s nuances, limiting the effective use of language information; inefficient fusion mechanisms that fail to optimally integrate visual and textual features, preventing a holistic understanding of the target; and a lack of temporal modeling of the target’s evolving appearance in the language domain, leading to a disconnect between the initial description and the object’s subsequent visual changes. To bridge these gaps and unlock the full potential of VLMs for VOT, we propose CLDTracker, a novel Comprehensive Language Description framework for robust visual Tracking. Our tracker introduces a dual-branch architecture consisting of a textual and a visual branch. In the textual branch, we construct a rich bag of textual descriptions derived by harnessing the powerful VLMs such as CLIP and GPT-4V, enriched with semantic and contextual cues to address the lack of rich textual representation. Experiments on six standard VOT benchmarks demonstrate that CLDTracker achieves SOTA performance, validating the effectiveness of leveraging robust and temporally-adaptive vision-language representations for tracking. Code and models are publicly available at: https://github.com/HamadYA/CLDTracker

arxiv情報

提供元, 利用サービス

arxiv.jp, Google