DenseTrack: Drone-based Crowd Tracking via Density-aware Motion-appearance Synergy

要約

ドローンベースの群衆追跡では、上空から物体を正確に識別して監視することが困難に直面しています。その主な原因は、物体のサイズが小さく、互いに近接しているため、位置特定と追跡の両方が複雑になるためです。
これらの課題に対処するために、Density-aware Tracking (DenseTrack) フレームワークを紹介します。
DenseTrack は、群衆カウントを利用してオブジェクトの位置を正確に特定し、視覚的な手がかりと動きの手がかりをブレンドして小規模なオブジェクトの追跡を改善します。
特にフレーム間の動きの問題に対処し、追跡の精度と信頼性を向上させます。
DenseTrack は、ビデオ フレーム内でオブジェクトの位置を正確に特定するためのアンカーとして群集密度の推定を使用します。
これらの推定値は、追跡ネットワークからの動きおよび位置情報とマージされ、動きオフセットが主要な追跡キューとして機能します。
さらに、DenseTrack は、視覚言語モデルからの洞察を使用して、外観と動きの手がかりを統合して、小規模なオブジェクトを区別する能力を強化します。
このフレームワークはハンガリーのアルゴリズムを利用して、フレーム間で個人を正確に照合します。
DroneCrowd データセットで実証されたこのアプローチは優れたパフォーマンスを示し、ドローンによってキャプチャされたシナリオでの有効性が確認されました。

要約(オリジナル)

Drone-based crowd tracking faces difficulties in accurately identifying and monitoring objects from an aerial perspective, largely due to their small size and close proximity to each other, which complicates both localization and tracking. To address these challenges, we present the Density-aware Tracking (DenseTrack) framework. DenseTrack capitalizes on crowd counting to precisely determine object locations, blending visual and motion cues to improve the tracking of small-scale objects. It specifically addresses the problem of cross-frame motion to enhance tracking accuracy and dependability. DenseTrack employs crowd density estimates as anchors for exact object localization within video frames. These estimates are merged with motion and position information from the tracking network, with motion offsets serving as key tracking cues. Moreover, DenseTrack enhances the ability to distinguish small-scale objects using insights from the visual-language model, integrating appearance with motion cues. The framework utilizes the Hungarian algorithm to ensure the accurate matching of individuals across frames. Demonstrated on DroneCrowd dataset, our approach exhibits superior performance, confirming its effectiveness in scenarios captured by drones.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google