TripletTrack: 3D Object Tracking using Triplet Embeddings and LSTM

要約

3D オブジェクト トラッキングは、自動運転システムにおける重要なタスクです。
これは、周囲の環境に関するシステムの認識に不可欠な役割を果たします。
同時に、カメラなどの安価なセンサーのみに依存する自動運転車のアルゴリズムへの関心が高まっています。
この論文では、3Dオブジェクト追跡のためのモーション表現と組み合わせたトリプレット埋め込みの使用を調査します。
既製の 3D オブジェクト検出器から始めて、ローカル オブジェクトの特徴の埋め込みとモーション ディスクリプタで計算されたアフィニティ スコアによってオブジェクトが照合される追跡メカニズムを適用します。
機能の埋め込みは、視覚的な外観と単眼 3D オブジェクトの特性に関する情報を含むようにトレーニングされ、モーション記述子はオブジェクトの軌跡の強力な表現を提供します。
私たちのアプローチがオブジェクトを効果的に再識別し、オクルージョン、検出漏れの場合でも確実かつ正確に動作し、さまざまな視野にわたって再出現を検出できることを示します。
実験的評価は、私たちのアプローチが nuScenes の最先端技術よりも大幅に優れていることを示しています。
KITTIでも競合実績を上げております。

要約(オリジナル)

3D object tracking is a critical task in autonomous driving systems. It plays an essential role for the system’s awareness about the surrounding environment. At the same time there is an increasing interest in algorithms for autonomous cars that solely rely on inexpensive sensors, such as cameras. In this paper we investigate the use of triplet embeddings in combination with motion representations for 3D object tracking. We start from an off-the-shelf 3D object detector, and apply a tracking mechanism where objects are matched by an affinity score computed on local object feature embeddings and motion descriptors. The feature embeddings are trained to include information about the visual appearance and monocular 3D object characteristics, while motion descriptors provide a strong representation of object trajectories. We will show that our approach effectively re-identifies objects, and also behaves reliably and accurately in case of occlusions, missed detections and can detect re-appearance across different field of views. Experimental evaluation shows that our approach outperforms state-of-the-art on nuScenes by a large margin. We also obtain competitive results on KITTI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google