Delving into Motion-Aware Matching for Monocular 3D Object Tracking

要約

単眼 3D オブジェクト検出の最近の進歩により、低コストのカメラ センサーに基づいた 3D マルチオブジェクト追跡タスクが容易になりました。
この論文では、既存の単眼ベースのアプローチではあまり検討されていない、3D マルチオブジェクト追跡では、異なる時間フレームに沿ったオブジェクトの動きの手がかりが重要であることがわかりました。
この論文では、単眼 3D MOT のためのモーション認識フレームワークを提案します。
この目的を達成するために、私たちは主に 3 つのモーション認識コンポーネントで構成されるフレームワークである MoMA-M3T を提案します。
まず、特徴空間内のすべてのオブジェクト トラックレットに関連するオブジェクトの可能な動きをその動き特徴として表します。
次に、モーション トランスフォーマーを介して、時空間の視点で時間フレームに沿って歴史的オブジェクト トラックレットをさらにモデル化します。
最後に、過去のオブジェクトのトラックレットと現在の観測を最終的な追跡結果として関連付けるための、動きを認識したマッチング モジュールを提案します。
私たちは、nuScenes と KITTI データセットで広範な実験を実施し、MoMA-M3T が最先端の手法と比較して競争力のあるパフォーマンスを達成していることを実証しました。
さらに、提案されたトラッカーは柔軟性があり、再トレーニングすることなく既存の画像ベースの 3D 物体検出器に簡単に接続できます。
コードとモデルは https://github.com/kuanchihhuang/MoMA-M3T で入手できます。

要約(オリジナル)

Recent advances of monocular 3D object detection facilitate the 3D multi-object tracking task based on low-cost camera sensors. In this paper, we find that the motion cue of objects along different time frames is critical in 3D multi-object tracking, which is less explored in existing monocular-based approaches. In this paper, we propose a motion-aware framework for monocular 3D MOT. To this end, we propose MoMA-M3T, a framework that mainly consists of three motion-aware components. First, we represent the possible movement of an object related to all object tracklets in the feature space as its motion features. Then, we further model the historical object tracklet along the time frame in a spatial-temporal perspective via a motion transformer. Finally, we propose a motion-aware matching module to associate historical object tracklets and current observations as final tracking results. We conduct extensive experiments on the nuScenes and KITTI datasets to demonstrate that our MoMA-M3T achieves competitive performance against state-of-the-art methods. Moreover, the proposed tracker is flexible and can be easily plugged into existing image-based 3D object detectors without re-training. Code and models are available at https://github.com/kuanchihhuang/MoMA-M3T.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google