要約
センサーフュージョンは自動運転や自律ロボットには不可欠であり、レーダーとカメラのフュージョンシステムは、その補完的なセンシング機能により人気を集めています。
ただし、効果的な融合を確保し、システム全体のパフォーマンスを向上させるには、これら 2 つのセンサー間の正確なキャリブレーションが不可欠です。
キャリブレーションには固有キャリブレーションと外部キャリブレーションが含まれますが、後者は正確なセンサー フュージョンを達成するために特に重要です。
残念ながら、ターゲットベースのキャリブレーション方法の多くは複雑な操作手順と適切に設計された実験条件を必要とし、結果を再現しようとする研究者にとって課題となっています。
この問題に対処するために、深層学習を活用して生のレーダー データ (つまり、距離-ドップラー-角度データ) とカメラ画像から共通の特徴を抽出する新しいアプローチを導入します。
これらの共通の特徴を明示的に表す代わりに、私たちのメソッドはこれらの共通の特徴を暗黙的に利用して、両方のデータ ソースからの同一のオブジェクトを照合します。
具体的には、抽出された共通特徴は、レーダー システムとカメラ システム間のオンライン ターゲットレス キャリブレーション方法を実証するための例として機能します。
外部変換行列の推定は、この特徴ベースのアプローチを通じて実現されます。
キャリブレーションの精度と堅牢性を強化するために、行列の導出に RANSAC および Levenberg-Marquardt (LM) 非線形最適化アルゴリズムを適用します。
現実世界での実験により、提案した方法の有効性と精度が実証されています。
要約(オリジナル)
Sensor fusion is essential for autonomous driving and autonomous robots, and radar-camera fusion systems have gained popularity due to their complementary sensing capabilities. However, accurate calibration between these two sensors is crucial to ensure effective fusion and improve overall system performance. Calibration involves intrinsic and extrinsic calibration, with the latter being particularly important for achieving accurate sensor fusion. Unfortunately, many target-based calibration methods require complex operating procedures and well-designed experimental conditions, posing challenges for researchers attempting to reproduce the results. To address this issue, we introduce a novel approach that leverages deep learning to extract a common feature from raw radar data (i.e., Range-Doppler-Angle data) and camera images. Instead of explicitly representing these common features, our method implicitly utilizes these common features to match identical objects from both data sources. Specifically, the extracted common feature serves as an example to demonstrate an online targetless calibration method between the radar and camera systems. The estimation of the extrinsic transformation matrix is achieved through this feature-based approach. To enhance the accuracy and robustness of the calibration, we apply the RANSAC and Levenberg-Marquardt (LM) nonlinear optimization algorithm for deriving the matrix. Our experiments in the real world demonstrate the effectiveness and accuracy of our proposed method.
arxiv情報
| 著者 | Lei Cheng,Siyang Cao |
| 発行日 | 2024-01-24 20:25:09+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google