SAM-DA: UAV Tracks Anything at Night with SAM-Powered Domain Adaptation

要約

ドメイン アダプテーション (DA) は、リアルタイムの夜間無人航空機 (UAV) 追跡に大きな期待を寄せています。
ただし、最先端 (SOTA) DA には、高品質のターゲット ドメイン トレーニング サンプルを生成するための、正確なピクセル レベルの位置と境界を備えた潜在的なオブジェクトがまだ不足しています。
この重要な問題は、夜間の UAV 追跡を困難にするためのリアルタイム日中 SOTA トラッカーの転移学習を制約します。
最近、注目すべきセグメント エニシング モデル (SAM) は、その膨大なデータ駆動型トレーニング アプローチにより、豊富な潜在オブジェクトを発見する驚くべきゼロショット汎化能力を達成しました。
前述の問題を解決するために、この研究では、リアルタイムの夜間 UAV 追跡のための新しい SAM を利用した DA フレームワーク、つまり SAM-DA を提案します。
具体的には、革新的な SAM を利用したターゲット ドメイン トレーニング サンプル拡張機能は、あらゆる単一の生の夜間画像から膨大な高品質のターゲット ドメイン トレーニング サンプルを決定するように設計されています。
この新しい 1 対多の方法により、DA の高品質なターゲット ドメイン トレーニング サンプルが大幅に拡張されます。
広範な夜間 UAV ビデオに関する包括的な実験により、夜間 UAV 追跡に対する SAM-DA の堅牢性とドメイン適応性が証明されました。
特に、SOTA DA と比較して、SAM-DA は、より少ない生の夜間画像でより良いパフォーマンスを達成できます。つまり、少ない方が良いトレーニングです。
この節約されたトレーニング アプローチにより、UAV のアルゴリズムの迅速な検証と展開が容易になります。
コードは https://github.com/vision4robotics/SAM-DA で入手できます。

要約(オリジナル)

Domain adaptation (DA) has demonstrated significant promise for real-time nighttime unmanned aerial vehicle (UAV) tracking. However, the state-of-the-art (SOTA) DA still lacks the potential object with accurate pixel-level location and boundary to generate the high-quality target domain training sample. This key issue constrains the transfer learning of the real-time daytime SOTA trackers for challenging nighttime UAV tracking. Recently, the notable Segment Anything Model (SAM) has achieved remarkable zero-shot generalization ability to discover abundant potential objects due to its huge data-driven training approach. To solve the aforementioned issue, this work proposes a novel SAM-powered DA framework for real-time nighttime UAV tracking, i.e., SAM-DA. Specifically, an innovative SAM-powered target domain training sample swelling is designed to determine enormous high-quality target domain training samples from every single raw nighttime image. This novel one-to-many method significantly expands the high-quality target domain training sample for DA. Comprehensive experiments on extensive nighttime UAV videos prove the robustness and domain adaptability of SAM-DA for nighttime UAV tracking. Especially, compared to the SOTA DA, SAM-DA can achieve better performance with fewer raw nighttime images, i.e., the fewer-better training. This economized training approach facilitates the quick validation and deployment of algorithms for UAVs. The code is available at https://github.com/vision4robotics/SAM-DA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google