DetZero: Rethinking Offboard 3D Object Detection with Long-term Sequential Point Clouds

要約

既存のオフボード 3D 検出器は常にモジュラー パイプライン設計に従い、無制限の連続点群を活用します。
私たちは、主に 2 つの理由により、オフボード 3D 検出器の可能性を最大限に活用できていないことがわかりました。(1) オンボードのマルチオブジェクト トラッカーは十分な完全なオブジェクトの軌道を生成できない、(2) オブジェクトの運動状態が避けられない課題を引き起こしている
長期的な時間的コンテキスト表現を活用するオブジェクト中心の洗練段階。
これらの問題に取り組むために、私たちは DetZero という名前のオフボード 3D オブジェクト検出の新しいパラダイムを提案します。
具体的には、生成されたオブジェクト追跡の完全性に焦点を当てるために、マルチフレーム検出器と組み合わせたオフライン追跡装置が提案されています。
注意メカニズム洗練モジュールは、分解回帰法を使用したオブジェクト洗練のために、長期連続点群にわたるコンテキスト情報の相互作用を強化するために提案されています。
Waymo Open Dataset に関する広範な実験により、当社の DetZero があらゆる最先端のオンボードおよびオフボード 3D 検出方法よりも優れた性能を発揮することが示されました。
特に、DetZero は、85.15 mAPH (L2) 検出パフォーマンスで、Waymo 3D 物体検出リーダーボードで 1 位にランクされています。
さらに実験を行うと、人間のラベルに代わる応用がこのような高品質の結果で検証されます。
私たちの実証研究は、オフボード 3D オブジェクト検出に関する将来の研究の指針となる慣例の再考と興味深い発見につながります。

要約(オリジナル)

Existing offboard 3D detectors always follow a modular pipeline design to take advantage of unlimited sequential point clouds. We have found that the full potential of offboard 3D detectors is not explored mainly due to two reasons: (1) the onboard multi-object tracker cannot generate sufficient complete object trajectories, and (2) the motion state of objects poses an inevitable challenge for the object-centric refining stage in leveraging the long-term temporal context representation. To tackle these problems, we propose a novel paradigm of offboard 3D object detection, named DetZero. Concretely, an offline tracker coupled with a multi-frame detector is proposed to focus on the completeness of generated object tracks. An attention-mechanism refining module is proposed to strengthen contextual information interaction across long-term sequential point clouds for object refining with decomposed regression methods. Extensive experiments on Waymo Open Dataset show our DetZero outperforms all state-of-the-art onboard and offboard 3D detection methods. Notably, DetZero ranks 1st place on Waymo 3D object detection leaderboard with 85.15 mAPH (L2) detection performance. Further experiments validate the application of taking the place of human labels with such high-quality results. Our empirical study leads to rethinking conventions and interesting findings that can guide future research on offboard 3D object detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google