Automatic Calibration of a Multi-Camera System with Limited Overlapping Fields of View for 3D Surgical Scene Reconstruction

要約

目的：この研究の目的は、3D外科シーン再建（3D-SSR）で使用されるマルチカメラシステムの自動化された正確な外部カメラキャリブレーション方法を開発し、オペレーターの介入または専門的な専門知識の必要性を排除することです。
この方法は、光学ズームレベルとカメラの位置の大幅な変動によって引き起こされる限られたオーバーラップの視野の問題に特に対処します。
方法：天井に取り付けられたプロジェクターを使用したマルチスケールマーカー（MSM）の投影に基づいて、新しい、高速で完全に自動キャリブレーション方法を提供します。
MSMは、さまざまなスケールで投影された2Dパターンで構成され、著しく異なる視点とズームレベルにわたって、よく分布したポイント通信を正確に抽出することを保証します。
検証は、モックアップでキャプチャされた合成データと実際のデータの両方を使用して、または従来のマニュアルマーカーベースの方法とマーカーレスキャリブレーション方法との比較を使用して実行されます。
結果：この方法は、ズームレベルの有意差の条件下でより高い堅牢性を示しながら、マニュアルのオペレーター依存性キャリブレーション方法に匹敵する精度を実現します。
さらに、追加のテクスチャがORフロアに投影された場合でも、3D-SSR設定では、最先端の構造からの構造からの構造（SFM）パイプラインが効果がないことを示しています。
結論：天井に取り付けられたエントリーレベルのプロジェクターの使用は、オペレーター依存の従来のマーカーベースの方法に効果的な代替手段であることが証明されており、完全に自動化された3D-SSRの方法を開きます。

要約(オリジナル)

Purpose: The purpose of this study is to develop an automated and accurate external camera calibration method for multi-camera systems used in 3D surgical scene reconstruction (3D-SSR), eliminating the need for operator intervention or specialized expertise. The method specifically addresses the problem of limited overlapping fields of view caused by significant variations in optical zoom levels and camera locations. Methods: We contribute a novel, fast, and fully automatic calibration method based on the projection of multi-scale markers (MSMs) using a ceiling-mounted projector. MSMs consist of 2D patterns projected at varying scales, ensuring accurate extraction of well distributed point correspondences across significantly different viewpoints and zoom levels. Validation is performed using both synthetic and real data captured in a mock-up OR, with comparisons to traditional manual marker-based methods as well as markerless calibration methods. Results: The method achieves accuracy comparable to manual, operator-dependent calibration methods while exhibiting higher robustness under conditions of significant differences in zoom levels. Additionally, we show that state-of-the-art Structure-from-Motion (SfM) pipelines are ineffective in 3D-SSR settings, even when additional texture is projected onto the OR floor. Conclusion: The use of a ceiling-mounted entry-level projector proves to be an effective alternative to operator-dependent, traditional marker-based methods, paving the way for fully automated 3D-SSR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google