Omnidirectional Multi-Object Tracking

要約

360 {\ deg}の視野を備えたパノラマ画像は、周囲のオブジェクトの空間的および時間的関係をキャプチャするマルチオブジェクト追跡（MOT）をサポートする包括的な情報を提供します。
ただし、ほとんどのMOTアルゴリズムは、ビューが限られているピンホール画像に合わせて調整されており、パノラマ設定での有効性が損なわれます。
さらに、解像度損失、幾何学的変形、不均一な照明などのパノラマ画像の歪みは、既存のMOTメソッドの直接的な適応を妨げ、パフォーマンスの大幅な劣化につながります。
これらの課題に対処するために、トラックレット管理を組み込んだ全方向性MOTフレームワークであるOmnitrackを提案します。
この統合により、迅速なセンサーの動きの下であっても、大きなフィールドオブビューシナリオでの追跡が可能になります。
パノラマMOTデータセットの欠如を軽減するために、Quadtrackデータセットを紹介します。これは、広範囲の視野、強烈な動き、複雑な環境などの多様な課題を備えた、四足動物によって収集された包括的なパノラマデータセットです。
パブリックJRDBデータセットと新しく導入されたQuadtrackベンチマークに関する広範な実験は、提案されたフレームワークの最先端のパフォーマンスを示しています。
OmnitrackはJRDBで26.92％のHotaスコアを達成し、3.43％の改善を表し、さらにクアッドトラックで23.45％を達成し、ベースラインを6.81％超えました。
データセットとコードは、https://github.com/xifen523/omnitrackで公開されます。

要約(オリジナル)

Panoramic imagery, with its 360{\deg} field of view, offers comprehensive information to support Multi-Object Tracking (MOT) in capturing spatial and temporal relationships of surrounding objects. However, most MOT algorithms are tailored for pinhole images with limited views, impairing their effectiveness in panoramic settings. Additionally, panoramic image distortions, such as resolution loss, geometric deformation, and uneven lighting, hinder direct adaptation of existing MOT methods, leading to significant performance degradation. To address these challenges, we propose OmniTrack, an omnidirectional MOT framework that incorporates Tracklet Management to introduce temporal cues, FlexiTrack Instances for object localization and association, and the CircularStatE Module to alleviate image and geometric distortions. This integration enables tracking in large field-of-view scenarios, even under rapid sensor motion. To mitigate the lack of panoramic MOT datasets, we introduce the QuadTrack dataset–a comprehensive panoramic dataset collected by a quadruped robot, featuring diverse challenges such as wide fields of view, intense motion, and complex environments. Extensive experiments on the public JRDB dataset and the newly introduced QuadTrack benchmark demonstrate the state-of-the-art performance of the proposed framework. OmniTrack achieves a HOTA score of 26.92% on JRDB, representing an improvement of 3.43%, and further achieves 23.45% on QuadTrack, surpassing the baseline by 6.81%. The dataset and code will be made publicly available at https://github.com/xifen523/OmniTrack.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google