DeepFusionMOT: A 3D Multi-Object Tracking Framework Based on Camera-LiDAR Fusion with Deep Association

要約

最近の文献では、一方で、多くの 3D マルチオブジェクト トラッキング (MOT) の作業は、トラッキングの精度に焦点を当て、一般的にかなり複雑なコスト関数と特徴抽出器を設計することにより、計算速度を無視してきました。
一方、追跡精度を犠牲にして計算速度に重点を置きすぎている方法もあります。
これらの問題を考慮して、このペーパーでは、精度と速度の間の適切なトレードオフを実現する、堅牢で高速なカメラ-LiDAR 融合ベースの MOT メソッドを提案します。
カメラと LiDAR センサーの特性に依存して、効果的なディープ アソシエーション メカニズムが設計され、提案された MOT メソッドに組み込まれます。
この関連付けメカニズムにより、オブジェクトが遠くにあり、カメラによってのみ検出された場合、2D ドメインでオブジェクトの追跡が実現され、オブジェクトが LiDAR の視野に表示されたときに取得された 3D 情報で 2D 軌跡が更新され、スムーズな融合が実現されます。
2D および 3D 軌道の。
典型的なデータセットに基づく広範な実験は、提案された方法が追跡精度と処理速度の両方の点で最先端のMOT方法よりも明らかな利点を示すことを示しています。
私たちのコードは、コミュニティの利益のために公開されています。

要約(オリジナル)

In the recent literature, on the one hand, many 3D multi-object tracking (MOT) works have focused on tracking accuracy and neglected computation speed, commonly by designing rather complex cost functions and feature extractors. On the other hand, some methods have focused too much on computation speed at the expense of tracking accuracy. In view of these issues, this paper proposes a robust and fast camera-LiDAR fusion-based MOT method that achieves a good trade-off between accuracy and speed. Relying on the characteristics of camera and LiDAR sensors, an effective deep association mechanism is designed and embedded in the proposed MOT method. This association mechanism realizes tracking of an object in a 2D domain when the object is far away and only detected by the camera, and updating of the 2D trajectory with 3D information obtained when the object appears in the LiDAR field of view to achieve a smooth fusion of 2D and 3D trajectories. Extensive experiments based on the typical datasets indicate that our proposed method presents obvious advantages over the state-of-the-art MOT methods in terms of both tracking accuracy and processing speed. Our code is made publicly available for the benefit of the community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google