EF-Calib: Spatiotemporal Calibration of Event- and Frame-Based Cameras Using Continuous-Time Trajectories

要約

イベント カメラは、生物からインスピレーションを得た非同期トリガー カメラであり、その低遅延と高ダイナミック レンジにより、フレームベースのカメラとの融合に有望な可能性をもたらします。
ただし、イベント カメラとフレームベース カメラの両方を組み込んだステレオ ビジョン システムの調整は依然として大きな課題です。
このレターでは、連続時間軌跡を使用するイベントベースおよびフレームベースのカメラ用の時空間キャリブレーション フレームワークである EF-Calib について紹介します。
両方のタイプのカメラに適用可能な新しいキャリブレーション パターンと、対応するイベント認識アルゴリズムが提案されます。
イベントの非同期の性質を利用して、カメラのポーズを連続的に表す導出可能な区分的 B スプラインが導入され、提供される分析ヤコビアンを使用して、内部パラメーター、外部パラメーター、および時間オフセットのキャリブレーションが可能になります。
EF-Calib の校正パフォーマンスを評価するために、内部パラメータ、外部パラメータ、時間オフセットの校正実験など、さまざまな実験が実行されます。
実験結果は、EF-Calib が現在の SOTA と比較して最も正確な内部パラメータ、フレームベースの結果と比較して近い精度の外部パラメータ、および正確な時間オフセット推定を達成することを示しています。
EF-Calib は、イベントとフレームを融合するシステムを調整するための便利で正確なツールボックスを提供します。
この論文のコードは、https://github.com/wsakobe/EF-Calib でもオープンソース化されます。

要約(オリジナル)

Event camera, a bio-inspired asynchronous triggered camera, offers promising prospects for fusion with frame-based cameras owing to its low latency and high dynamic range. However, calibrating stereo vision systems that incorporate both event and frame-based cameras remains a significant challenge. In this letter, we present EF-Calib, a spatiotemporal calibration framework for event- and frame-based cameras using continuous-time trajectories. A novel calibration pattern applicable to both camera types and the corresponding event recognition algorithm is proposed. Leveraging the asynchronous nature of events, a derivable piece-wise B-spline to represent camera pose continuously is introduced, enabling calibration for intrinsic parameters, extrinsic parameters, and time offset, with analytical Jacobians provided. Various experiments are carried out to evaluate the calibration performance of EF-Calib, including calibration experiments for intrinsic parameters, extrinsic parameters, and time offset. Experimental results show that EF-Calib achieves the most accurate intrinsic parameters compared to current SOTA, the close accuracy of the extrinsic parameters compared to the frame-based results, and accurate time offset estimation. EF-Calib provides a convenient and accurate toolbox for calibrating the system that fuses events and frames. The code of this paper will also be open-sourced at: https://github.com/wsakobe/EF-Calib.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google