Neural Real-Time Recalibration for Infrared Multi-Camera Systems

要約

現在、赤外線マルチカメラ システムのリアルタイム再キャリブレーションのための学習不要のニューラル技術は存在しません。
この論文では、時間に敏感なアプリケーションにとって重要なタスクである、マルチカメラ赤外線システムのリアルタイムで高精度のキャリブレーションという課題に取り組みます。
適応性に欠け、オンザフライの再キャリブレーションに苦労する従来のキャリブレーション手法とは異なり、動的リアルタイムキャリブレーションが可能なニューラルネットワークベースの方法を提案します。
提案された方法は、3D ジオメトリを 2D 画像投影と直接相関させる微分可能な投影モデルを統合し、内部カメラ パラメータと外部カメラ パラメータの直接の最適化を容易にします。
私たちのアプローチの鍵となるのは、カメラ パラメーターの摂動を使用した動的カメラ ポーズ合成であり、現実的な運用上の課題をエミュレートしてモデルの堅牢性を高めます。
2 つのモデル バリアントを紹介します。1 つは 3D 基準の直接 2D 投影を利用した 2D 点のオンボード処理を備えたマルチカメラ システム用に設計されたもので、もう 1 つは暗黙的に対応を確立するために色分けされた投影点を使用する画像ベースのシステム用に設計されたものです。
厳密な実験を通じて、私たちの方法は、摂動の有無にかかわらず、従来のキャリブレーション手法よりも正確であると同時にリアルタイムであることを実証し、リアルタイムのマルチカメラ システム キャリブレーションの分野で大きな進歩を遂げています。
ソース コードは https://github.com/theICTlab/neural-recalibration にあります。

要約(オリジナル)

Currently, there are no learning-free or neural techniques for real-time recalibration of infrared multi-camera systems. In this paper, we address the challenge of real-time, highly-accurate calibration of multi-camera infrared systems, a critical task for time-sensitive applications. Unlike traditional calibration techniques that lack adaptability and struggle with on-the-fly recalibrations, we propose a neural network-based method capable of dynamic real-time calibration. The proposed method integrates a differentiable projection model that directly correlates 3D geometries with their 2D image projections and facilitates the direct optimization of both intrinsic and extrinsic camera parameters. Key to our approach is the dynamic camera pose synthesis with perturbations in camera parameters, emulating realistic operational challenges to enhance model robustness. We introduce two model variants: one designed for multi-camera systems with onboard processing of 2D points, utilizing the direct 2D projections of 3D fiducials, and another for image-based systems, employing color-coded projected points for implicitly establishing correspondence. Through rigorous experimentation, we demonstrate our method is more accurate than traditional calibration techniques with or without perturbations while also being real-time, marking a significant leap in the field of real-time multi-camera system calibration. The source code can be found at https://github.com/theICTlab/neural-recalibration

arxiv情報

提供元, 利用サービス

arxiv.jp, Google