Conditional Generative Denoiser for Nighttime UAV Tracking

要約

最先端 (SOTA) 視覚物体追跡手法により、無人航空機 (UAV) の自律性が大幅に強化されました。
ただし、低照度条件では、環境からの不規則な実際のノイズの存在により、これらの SOTA メソッドのパフォーマンスが大幅に低下します。
さらに、既存の SOTA ノイズ除去技術は、UAV 追跡用のプラグアンドプレイ デノイザーとして導入された場合、リアルタイム処理要件を満たせないことがよくあります。
この課題に対処するために、この研究では、従来の決定論的パラダイムの制限から解放され、入力に対してノイズ コンディショニングを生成し、その後それを除去する新しい条件付き生成デノイザー (CGDenoiser) を提案します。
入力次元をより適切に調整し、推論を高速化するために、新しいネストされた残差 Transformer コンディショナライザーが開発されました。
さらに、革新的なマルチカーネル条件リファイナーは、ノイズ除去された出力を適切に調整するように設計されています。
広範な実験により、CGDenoiser は DarkTrack2021 上で SOTA トラッカーの追跡精度を 18.18\% 向上させ、2 番目の良好なパフォーマンスのデノイザーよりも 5.8 倍高速に動作することがわかりました。
複雑な課題を伴う現実世界のテストでも、CGDenoiser の有効性と実用性が証明されています。
CGDenoier のコード、ビデオ デモ、および補足証明は、\url{https://github.com/vision4robotics/CGDenoiser} で入手できるようになりました。

要約(オリジナル)

State-of-the-art (SOTA) visual object tracking methods have significantly enhanced the autonomy of unmanned aerial vehicles (UAVs). However, in low-light conditions, the presence of irregular real noise from the environments severely degrades the performance of these SOTA methods. Moreover, existing SOTA denoising techniques often fail to meet the real-time processing requirements when deployed as plug-and-play denoisers for UAV tracking. To address this challenge, this work proposes a novel conditional generative denoiser (CGDenoiser), which breaks free from the limitations of traditional deterministic paradigms and generates the noise conditioning on the input, subsequently removing it. To better align the input dimensions and accelerate inference, a novel nested residual Transformer conditionalizer is developed. Furthermore, an innovative multi-kernel conditional refiner is designed to pertinently refine the denoised output. Extensive experiments show that CGDenoiser promotes the tracking precision of the SOTA tracker by 18.18\% on DarkTrack2021 whereas working 5.8 times faster than the second well-performed denoiser. Real-world tests with complex challenges also prove the effectiveness and practicality of CGDenoiser. Code, video demo and supplementary proof for CGDenoier are now available at: \url{https://github.com/vision4robotics/CGDenoiser}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google