Online LiDAR-Camera Extrinsic Parameters Self-checking

要約

ニューラル ネットワークの発展と自動運転の普及に伴い、LiDAR とカメラのキャリブレーションがますます注目を集めています。
このキャリブレーション タスクはマルチモーダルであり、カメラによってキャプチャされた豊富な色とテクスチャの情報、および LiDAR からの正確な 3 次元空間情報は、下流のタスクにとって非常に重要です。
現在の研究の関心は、主に情報の融合による正確なキャリブレーション結果の取得に焦点を当てています。
ただし、キャリブレーションされた結果が正しいかどうかを分析することはめったにありません。これは、実際のアプリケーションで非常に重要になる可能性があります。
たとえば、大規模な生産では、各スマートカーの LiDAR とカメラは、車が生産ラインを離れるときに適切に調整する必要がありますが、残りの車のライフサイクルでは、LiDAR とカメラのポーズを適切に調整する必要があります。
また、セキュリティを確保するために継続的に監視されます。
この目的のために、この論文では、カメラとLiDARからの融合情報に基づいてバイナリ分類ネットワークを導入することにより、外部パラメーターが適切に調整されているかどうかを判断するセルフチェックアルゴリズムを提案します。
さらに、この作業にはそのようなタスク用のデータセットがないため、タスク用に調整された KITTI データセットから新しいデータセット ブランチをさらに生成します。
提案されたデータセットブランチでの実験は、私たちの方法のパフォーマンスを示しています。
私たちの知る限りでは、これは、自動運転のために較正された外部パラメーターを継続的にチェックすることの重要性に対処する最初の作業です。
このコードは、https://github.com/OpenCalib/LiDAR2camera_self-check の Github Web サイトでオープンソース化されています。

要約(オリジナル)

With the development of neural networks and the increasing popularity of automatic driving, the calibration of the LiDAR and the camera has attracted more and more attention. This calibration task is multi-modal, where the rich color and texture information captured by the camera and the accurate three-dimensional spatial information from the LiDAR is incredibly significant for downstream tasks. Current research interests mainly focus on obtaining accurate calibration results through information fusion. However, they seldom analyze whether the calibrated results are correct or not, which could be of significant importance in real-world applications. For example, in large-scale production, the LiDARs and the cameras of each smart car have to get well-calibrated as the car leaves the production line, while in the rest of the car life period, the poses of the LiDARs and cameras should also get continually supervised to ensure the security. To this end, this paper proposes a self-checking algorithm to judge whether the extrinsic parameters are well-calibrated by introducing a binary classification network based on the fused information from the camera and the LiDAR. Moreover, since there is no such dataset for the task in this work, we further generate a new dataset branch from the KITTI dataset tailored for the task. Our experiments on the proposed dataset branch demonstrate the performance of our method. To the best of our knowledge, this is the first work to address the significance of continually checking the calibrated extrinsic parameters for autonomous driving. The code is open-sourced on the Github website at https://github.com/OpenCalib/LiDAR2camera_self-check.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google