Towards Consistent Object Detection via LiDAR-Camera Synergy

要約

人間と機械の相互作用が進化し続けるにつれて、環境を認識する能力がますます重要になっています。
最も一般的な 2 種類の感覚データ、画像、点群を統合すると、検出精度を向上できます。
現在、点群と画像の両方で物体の位置を検出し、それらの対応関係を判断できるモデルは存在しません。
この情報は人間と機械の相互作用にとって非常に貴重であり、その強化のための新たな可能性を提供します。
これを考慮して、この論文では、単一の前方推論のみを必要とするエンドツーエンドの一貫性オブジェクト検出 (COD) アルゴリズム フレームワークを紹介します。このフレームワークでは、点群と画像の両方でオブジェクトの位置を同時に取得し、それらの相関関係を確立します。
さらに、点群と画像の間の物体相関の精度を評価するために、本論文では新しい評価指標である一貫性精度 (CP) を提案します。
提案されたフレームワークの有効性を検証するために、KITTI および DAIR-V2X データセットに対して広範な実験が行われました。
この研究では、画像と点群の間の校正パラメータが乱れた場合に、提案された一貫性検出方法が画像に対してどのように実行されるかについても、既存の後処理方法と比較して調査しました。
実験結果は、提案手法が優れた検出性能とロバスト性を示し、エンドツーエンドの一貫性検出を実現することを示しています。
ソースコードは https://github.com/xifen523/COD で公開されます。

要約(オリジナル)

As human-machine interaction continues to evolve, the capacity for environmental perception is becoming increasingly crucial. Integrating the two most common types of sensory data, images, and point clouds, can enhance detection accuracy. Currently, there is no existing model capable of detecting an object’s position in both point clouds and images while also determining their corresponding relationship. This information is invaluable for human-machine interactions, offering new possibilities for their enhancement. In light of this, this paper introduces an end-to-end Consistency Object Detection (COD) algorithm framework that requires only a single forward inference to simultaneously obtain an object’s position in both point clouds and images and establish their correlation. Furthermore, to assess the accuracy of the object correlation between point clouds and images, this paper proposes a new evaluation metric, Consistency Precision (CP). To verify the effectiveness of the proposed framework, an extensive set of experiments has been conducted on the KITTI and DAIR-V2X datasets. The study also explored how the proposed consistency detection method performs on images when the calibration parameters between images and point clouds are disturbed, compared to existing post-processing methods. The experimental results demonstrate that the proposed method exhibits excellent detection performance and robustness, achieving end-to-end consistency detection. The source code will be made publicly available at https://github.com/xifen523/COD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google