Next-generation Surgical Navigation: Marker-less Multi-view 6DoF Pose Estimation of Surgical Instruments

要約

従来のコンピュータービジョンに関する最先端の研究は、手術領域でますます活用されています。
コンピューター支援の手術に特に焦点を当てているのは、深い学習方法を使用して、機器のローカリゼーションのためのマーカーベースの追跡システムを純粋な画像ベースの6DOFポーズ推定に置き換えることです。
ただし、最先端のシングルビューのポーズ推定方法は、外科的航法に必要な精度をまだ満たしていません。
これに関連して、手術器具の非常に正確でオクルージョン – ロビー6DOFポーズ推定のためのマルチビューセットアップの利点を調査し、手術室の課題に対処する理想的なカメラシステムの推奨事項を導き出します。
この作業の貢献は3つあります。
まず、静的カメラとヘッドマウントカメラで構成されるマルチカメラキャプチャセットアップを紹介します。これにより、さまざまなカメラ構成の下でポーズ推定方法のパフォーマンスを調べることができます。
第二に、私たちは、手術湿性ラボと本物の手術劇場で撮影された、視線脊椎手術のマルチビューRGB-Dビデオデータセットを公開し、外科医、機器、患者の解剖学のための豊富な注釈を含みます。
第三に、手術器具の6DOFポーズ推定のタスクのための3つの最先端のシングルビューおよびマルチビューメソッドを評価し、ポーズの精度と一般化能力に対するカメラ構成、トレーニングデータ、および閉塞の影響を分析します。
最良の方法は、マルチビューポーズ最適化で5つのカメラを利用し、外科的訓練では1.01 mmおよび0.89 {\ deg}の平均位置と方向誤差を達成し、最適な条件下でドライバーに2.79 mmおよび3.33 {\ deg}を達成します。
我々の結果は、手術器具のマーカーレス追跡が既存のマーカーベースのシステムに代わる実現可能な代替手段になりつつあることを示しています。

要約(オリジナル)

State-of-the-art research of traditional computer vision is increasingly leveraged in the surgical domain. A particular focus in computer-assisted surgery is to replace marker-based tracking systems for instrument localization with pure image-based 6DoF pose estimation using deep-learning methods. However, state-of-the-art single-view pose estimation methods do not yet meet the accuracy required for surgical navigation. In this context, we investigate the benefits of multi-view setups for highly accurate and occlusion-robust 6DoF pose estimation of surgical instruments and derive recommendations for an ideal camera system that addresses the challenges in the operating room. The contributions of this work are threefold. First, we present a multi-camera capture setup consisting of static and head-mounted cameras, which allows us to study the performance of pose estimation methods under various camera configurations. Second, we publish a multi-view RGB-D video dataset of ex-vivo spine surgeries, captured in a surgical wet lab and a real operating theatre and including rich annotations for surgeon, instrument, and patient anatomy. Third, we evaluate three state-of-the-art single-view and multi-view methods for the task of 6DoF pose estimation of surgical instruments and analyze the influence of camera configurations, training data, and occlusions on the pose accuracy and generalization ability. The best method utilizes five cameras in a multi-view pose optimization and achieves an average position and orientation error of 1.01 mm and 0.89{\deg} for a surgical drill as well as 2.79 mm and 3.33{\deg} for a screwdriver under optimal conditions. Our results demonstrate that marker-less tracking of surgical instruments is becoming a feasible alternative to existing marker-based systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google