DCPT: Darkness Clue-Prompted Tracking in Nighttime UAVs

要約

既存の夜間無人航空機 (UAV) トラッカーは、「Enhance-then-Track」アーキテクチャに従っています。最初にライト エンハンサーを使用して夜間のビデオを明るくし、次に日中のトラッカーを使用してオブジェクトの位置を特定します。
この個別の強化と追跡では、エンドツーエンドのトレーニング可能な視覚システムを構築できません。
これに対処するために、我々は、暗闇の手掛かりプロンプトを生成する方法を効率的に学習することにより、夜間の堅牢な UAV 追跡を実現する、Darkness Clue-Prompted Tracking (DCPT) と呼ばれる新しいアーキテクチャを提案します。
別個のエンハンサーを使用せずに、DCPT はダークネス クルー プロンプター (DCP) を使用して、アンチダーク機能をプロンプトに直接エンコードします。
具体的には、DCP は暗闇の手がかりの投影を強調したり弱めたりすることを繰り返し学習します。
次に、これらの学習された視覚的プロンプトを、トランス層全体にわたる固定パラメーターを使用して昼間のトラッカーに注入します。
さらに、ゲート機能集約メカニズムにより、プロンプト間、およびプロンプトと基本モデル間の適応的な融合が可能になります。
広範な実験により、複数のダーク シナリオ ベンチマークにおける DCPT の最先端のパフォーマンスが示されています。
DCPT での強化と追跡の統合されたエンドツーエンド学習により、よりトレーニングしやすいシステムが可能になります。
闇の手がかりプロンプトは、追加のモジュールを使用せずに、対闇の知識を効率的に注入します。
コードとモデルは公開されます。

要約(オリジナル)

Existing nighttime unmanned aerial vehicle (UAV) trackers follow an ‘Enhance-then-Track’ architecture – first using a light enhancer to brighten the nighttime video, then employing a daytime tracker to locate the object. This separate enhancement and tracking fails to build an end-to-end trainable vision system. To address this, we propose a novel architecture called Darkness Clue-Prompted Tracking (DCPT) that achieves robust UAV tracking at night by efficiently learning to generate darkness clue prompts. Without a separate enhancer, DCPT directly encodes anti-dark capabilities into prompts using a darkness clue prompter (DCP). Specifically, DCP iteratively learns emphasizing and undermining projections for darkness clues. It then injects these learned visual prompts into a daytime tracker with fixed parameters across transformer layers. Moreover, a gated feature aggregation mechanism enables adaptive fusion between prompts and between prompts and the base model. Extensive experiments show state-of-the-art performance for DCPT on multiple dark scenario benchmarks. The unified end-to-end learning of enhancement and tracking in DCPT enables a more trainable system. The darkness clue prompting efficiently injects anti-dark knowledge without extra modules. Code and models will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google