Tracker Meets Night: A Transformer Enhancer for UAV Tracking

要約

物体追跡のこれまでの進歩のほとんどは、良好な照明のある昼間のシーンで実現されています。
これまでのところ、最先端技術は夜間にその優位性を維持することはほとんどできず、そのため、視覚追跡に関連する無人航空機 (UAV) アプリケーションの拡大を大幅に妨げています。
夜間の信頼性の高い UAV 追跡を実現するために、新しいタスクに着想を得た方法でトレーニングされた空間チャネル Transformer ベースの低照度エンハンサー (つまり SCT) が提案され、追跡アプローチの前にプラグインされます。
高レベルのタスクをターゲットとするセマンティック レベルの低照度強化を実現するために、ローカル コンテキストを維持しながらグローバル情報をモデル化する、新しい空間チャネル アテンション モジュールが提案されています。
エンハンスメント プロセスでは、SCT は堅牢な非線形曲線プロジェクションを介して、夜間の画像のノイズを除去し、同時に照らします。
さらに、包括的な評価を提供するために、合計 100 K フレームを超える 110 の挑戦的なシーケンスを含む挑戦的な夜間追跡ベンチマーク、つまり DarkTrack2021 を構築します。
パブリック UAVDark135 ベンチマークと新しく構築された DarkTrack2021 ベンチマークの両方での評価は、タスクに着想を得た設計により、SCT が夜間の UAV 追跡のパフォーマンスを大幅に向上させ、他のトップランクの低照度エンハンサーと比較できることを示しています。
典型的な UAV プラットフォームでの実際のテストでは、提案されたアプローチの実用性がさらに検証されます。
DarkTrack2021 ベンチマークと提案されたアプローチのコードは、https://github.com/vision4robotics/SCT で公開されています。

要約(オリジナル)

Most previous progress in object tracking is realized in daytime scenes with favorable illumination. State-of-the-arts can hardly carry on their superiority at night so far, thereby considerably blocking the broadening of visual tracking-related unmanned aerial vehicle (UAV) applications. To realize reliable UAV tracking at night, a spatial-channel Transformer-based low-light enhancer (namely SCT), which is trained in a novel task-inspired manner, is proposed and plugged prior to tracking approaches. To achieve semantic-level low-light enhancement targeting the high-level task, the novel spatial-channel attention module is proposed to model global information while preserving local context. In the enhancement process, SCT denoises and illuminates nighttime images simultaneously through a robust non-linear curve projection. Moreover, to provide a comprehensive evaluation, we construct a challenging nighttime tracking benchmark, namely DarkTrack2021, which contains 110 challenging sequences with over 100 K frames in total. Evaluations on both the public UAVDark135 benchmark and the newly constructed DarkTrack2021 benchmark show that the task-inspired design enables SCT with significant performance gains for nighttime UAV tracking compared with other top-ranked low-light enhancers. Real-world tests on a typical UAV platform further verify the practicability of the proposed approach. The DarkTrack2021 benchmark and the code of the proposed approach are publicly available at https://github.com/vision4robotics/SCT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google