Calib-Anything: Zero-training LiDAR-Camera Extrinsic Calibration Method Using Segment Anything

要約

Light Detection and Ranging (LiDAR) とカメラの間の外部キャリブレーションに関する研究は、より正確で自動かつ汎用的な方法で推進されています。
キャリブレーションにはディープラーニングを採用しているため、現場の制約が大幅に軽減されます。
しかし、データ駆動方式には転送能力が低いという欠点があります。
追加のトレーニングを行わない限り、データセットの変化に適応することはできません。
基礎モデルの出現により、この問題は大幅に軽減されます。
Segment Anything Model (SAM) を使用することで、追加のトレーニングを必要とせず、一般的なシーンに適応する新しい LiDAR カメラのキャリブレーション方法を提案します。
初期推測を使用して、各イメージ マスク内に投影される点の一貫性を最大化することで外部パラメーターを最適化します。
一貫性には、点群の 3 つのプロパティ (強度、法線ベクトル、およびいくつかのセグメンテーション方法から派生したカテゴリ) が含まれます。
さまざまなデータセットでの実験により、私たちの方法の一般性と同等の精度が実証されました。
コードは https://github.com/OpenCalib/CalibAnything で入手できます。

要約(オリジナル)

The research on extrinsic calibration between Light Detection and Ranging(LiDAR) and camera are being promoted to a more accurate, automatic and generic manner. Since deep learning has been employed in calibration, the restrictions on the scene are greatly reduced. However, data driven method has the drawback of low transfer-ability. It cannot adapt to dataset variations unless additional training is taken. With the advent of foundation model, this problem can be significantly mitigated. By using the Segment Anything Model(SAM), we propose a novel LiDAR-camera calibration method, which requires zero extra training and adapts to common scenes. With an initial guess, we opimize the extrinsic parameter by maximizing the consistency of points that are projected inside each image mask. The consistency includes three properties of the point cloud: the intensity, normal vector and categories derived from some segmentation methods. The experiments on different dataset have demonstrated the generality and comparable accuracy of our method. The code is available at https://github.com/OpenCalib/CalibAnything.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google