FOLT: Fast Multiple Object Tracking from UAV-captured Videos Based on Optical Flow

要約

複数オブジェクト追跡 (MOT) は、コンピューター ビジョンでの研究に成功しています。
ただし、無人航空機 (UAV) によって撮影されたビデオの MOT は、物体のサイズが小さいこと、物体の外観がぼやけていること、地上物体と UAV プラットフォームの両方で非常に大きいおよび/または不規則な動きが原因で、依然として困難です。
この論文では、これらの問題を軽減し、UAV ビューで高速かつ正確な MOT を達成するために FOLT を提案します。
速度と精度のトレードオフを目指して、FOLT は最新の検出器と軽量のオプティカル フロー抽出器を採用し、最小限のコストで物体検出機能と動き特徴を抽出します。
抽出されたフローを考慮すると、フロー ガイドによる特徴拡張は、オプティカル フローに基づいて物体検出機能を拡張するように設計されており、これにより小さな物体の検出が向上します。
次に、次のフレームでの物体の位置を予測するフローガイド型動き予測も提案されており、これにより、隣接するフレーム間で非常に大きな変位を持つ物体の追跡パフォーマンスが向上します。
最後に、トラッカーは空間マッチング スキームを使用して検出されたオブジェクトと予測されたオブジェクトを照合し、すべてのオブジェクトのトラックを生成します。
Visdrone と UAVDT データセットの実験では、私たちが提案したモデルが大きくて不規則な動きをする小さな物体をうまく追跡でき、UAV-MOT タスクにおける既存の最先端の方法を上回るパフォーマンスを発揮できることが示されています。

要約(オリジナル)

Multiple object tracking (MOT) has been successfully investigated in computer vision. However, MOT for the videos captured by unmanned aerial vehicles (UAV) is still challenging due to small object size, blurred object appearance, and very large and/or irregular motion in both ground objects and UAV platforms. In this paper, we propose FOLT to mitigate these problems and reach fast and accurate MOT in UAV view. Aiming at speed-accuracy trade-off, FOLT adopts a modern detector and light-weight optical flow extractor to extract object detection features and motion features at a minimum cost. Given the extracted flow, the flow-guided feature augmentation is designed to augment the object detection feature based on its optical flow, which improves the detection of small objects. Then the flow-guided motion prediction is also proposed to predict the object’s position in the next frame, which improves the tracking performance of objects with very large displacements between adjacent frames. Finally, the tracker matches the detected objects and predicted objects using a spatially matching scheme to generate tracks for every object. Experiments on Visdrone and UAVDT datasets show that our proposed model can successfully track small objects with large and irregular motion and outperform existing state-of-the-art methods in UAV-MOT tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google