Semi-Automatic Infrared Calibration for Augmented Reality Systems in Surgery

要約

拡張現実感(AR)は、外科医が手術室の外部ディスプレイではなく、手術部位に集中できるようにすることで、コンピュータ支援整形外科手術(CAOS)の没入感と効率を改善する可能性がある。CAOSへのARの導入を成功させるためには、実オブジェクトとホログラフィックオブジェクトの空間的関係を正確に計算できるキャリブレーションが必要である。いくつかの研究では、手作業による位置合わせや、手術シーンにフィデューシャルマーカーを追加することで、このキャリブレーションを試みている。我々は、CAOSで広く使用されている赤外線反射マーカーアレイを使用することで、ARヘッドマウントディスプレイ(HMD)をCAOSシステムでキャリブレーションするための直接的な方法を提供するキャリブレーションシステムを提案する。我々の高速でユーザを問わないセットアップでは、HoloLens 2が、HMDに搭載されたセンサーから得られる赤外線応答と飛行時間深度を用いてマーカーアレイの姿勢を検出した。市販のCAOSシステムとの登録は、赤外線マーカーアレイが両方のデバイスから見えるときに達成された。研究テストでは、近距離で2つの静的マーカーアレイ間の相対姿勢を計算する際、相対トラッキングの平均誤差は2.03mmと1.12{deg}であった。較正結果を用いて、ワイヤ挿入の模擬作業にその場でのホログラフィック・ガイダンスを提供したところ、前臨床試験では、事前に計画した軌道と比較して、平均誤差2.07mmと1.54{deg}が報告された。

要約(オリジナル)

Augmented reality (AR) has the potential to improve the immersion and efficiency of computer-assisted orthopaedic surgery (CAOS) by allowing surgeons to maintain focus on the operating site rather than external displays in the operating theatre. Successful deployment of AR to CAOS requires a calibration that can accurately calculate the spatial relationship between real and holographic objects. Several studies attempt this calibration through manual alignment or with additional fiducial markers in the surgical scene. We propose a calibration system that offers a direct method for the calibration of AR head-mounted displays (HMDs) with CAOS systems, by using infrared-reflective marker-arrays widely used in CAOS. In our fast, user-agnostic setup, a HoloLens 2 detected the pose of marker arrays using infrared response and time-of-flight depth obtained through sensors onboard the HMD. Registration with a commercially available CAOS system was achieved when an IR marker-array was visible to both devices. Study tests found relative-tracking mean errors of 2.03 mm and 1.12{\deg} when calculating the relative pose between two static marker-arrays at short ranges. When using the calibration result to provide in-situ holographic guidance for a simulated wire-insertion task, a pre-clinical test reported mean errors of 2.07 mm and 1.54{\deg} when compared to a pre-planned trajectory.

arxiv情報

著者 Hisham Iqbal,Ferdinando Rodriguez y Baena
発行日 2024-05-03 10:57:14+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.RO パーマリンク