MOT-DETR: 3D Single Shot Detection and Tracking with Transformers to build 3D representations for Agro-Food Robots

要約

農産食品業界における現在の自動化の需要において、ロボット操作を成功させるには、関連するオブジェクトを 3D で正確に検出して位置特定することが不可欠です。
ただし、オクルージョンが存在するため、これは困難です。
多視点認識アプローチにより、ロボットはオクルージョンを克服できますが、複数の視点にわたってロボットによって検出されたオブジェクトを関連付けるためには追跡コンポーネントが必要です。
ほとんどのマルチオブジェクト トラッキング (MOT) アルゴリズムは、高フレーム レートのシーケンス向けに設計されており、ロボットの動きや 3D 環境によって生成されるオクルージョンに苦戦します。
この論文では、畳み込みネットワークとトランスフォーマーの組み合わせを使用して、時間の経過とともに 3D でオブジェクトを検出および追跡する新しいアプローチである MOT-DETR を紹介します。
私たちの方法は 2D および 3D データを処理し、トランスフォーマー アーキテクチャを採用してデータ フュージョンを実行します。
私たちは、MOT-DETR が最先端の複数物体追跡方法よりも優れた性能を発揮することを示します。
さらに、MOT-DETR は 3D データを活用して、長期的なオクルージョンや大きなフレーム間距離に最先端の方法よりも優れて対処できることを証明します。
最後に、点群の精度に影響を与える可能性があるカメラのポーズ ノイズに対してこの方法がどのように耐性があるかを示します。
MOT-DETR の実装はここにあります: https://github.com/drapado/mot-detr

要約(オリジナル)

In the current demand for automation in the agro-food industry, accurately detecting and localizing relevant objects in 3D is essential for successful robotic operations. However, this is a challenge due the presence of occlusions. Multi-view perception approaches allow robots to overcome occlusions, but a tracking component is needed to associate the objects detected by the robot over multiple viewpoints. Most multi-object tracking (MOT) algorithms are designed for high frame rate sequences and struggle with the occlusions generated by robots’ motions and 3D environments. In this paper, we introduce MOT-DETR, a novel approach to detect and track objects in 3D over time using a combination of convolutional networks and transformers. Our method processes 2D and 3D data, and employs a transformer architecture to perform data fusion. We show that MOT-DETR outperforms state-of-the-art multi-object tracking methods. Furthermore, we prove that MOT-DETR can leverage 3D data to deal with long-term occlusions and large frame-to-frame distances better than state-of-the-art methods. Finally, we show how our method is resilient to camera pose noise that can affect the accuracy of point clouds. The implementation of MOT-DETR can be found here: https://github.com/drapado/mot-detr

arxiv情報

提供元, 利用サービス

arxiv.jp, Google