TAToo: Vision-based Joint Tracking of Anatomy and Tool for Skull-base Surgery

要約

目的: 手術ツールと患者の解剖学的構造の 3D 動作を追跡することは、コンピューター支援による頭蓋底手術の基本的な要件です。
推定された動作は、手術中のガイダンスと下流のスキル分析の両方に使用できます。
現在の臨床ワークフローおよび機器に準拠しているため、このような動きを手術ビデオのみから復元することが望ましいです。
方法: Tracker of Anatomy and Tool (TAToo) を紹介します。
TAToo は、立体顕微鏡ビデオから患者の頭蓋骨と外科用ドリルの剛な 3D 運動を共同で追跡します。
TAToo は、エンドツーエンドの微分可能な形式での反復最適化プロセスを通じて動きを推定します。
堅牢な追跡パフォーマンスを実現するために、TAToo は確率的定式化を採用し、オブジェクト レベルで幾何学的制約を強制します。
結果: 地上の真実の動きが利用可能なシミュレーション データと、光学追跡が強力なベースラインを提供する擬人化ファントム データの両方で TAToo を検証します。
頭蓋骨とドリルについてはそれぞれサブミリメートルとミリメートルのフレーム間追跡精度があり、回転誤差は 1{\deg} 未満であると報告しています。
さらに、手術ナビゲーション設定で TAToo がどのように使用されるかを説明します。
結論: 頭蓋底手術において手術ツールと患者の解剖学的構造を同時に追跡する TAToo を紹介します。
TAToo は、マーカーを必要とせずに、手術ビデオから動きを直接予測します。
私たちの結果は、TATOo のパフォーマンスが競合するアプローチと比べて優れていることを示しています。
今後の作業には、頭蓋底の外科用途に望ましい 1 mm の臨床精度目標を達成するための深度ネットワークの微調整が含まれます。

要約(オリジナル)

Purpose: Tracking the 3D motion of the surgical tool and the patient anatomy is a fundamental requirement for computer-assisted skull-base surgery. The estimated motion can be used both for intra-operative guidance and for downstream skill analysis. Recovering such motion solely from surgical videos is desirable, as it is compliant with current clinical workflows and instrumentation. Methods: We present Tracker of Anatomy and Tool (TAToo). TAToo jointly tracks the rigid 3D motion of patient skull and surgical drill from stereo microscopic videos. TAToo estimates motion via an iterative optimization process in an end-to-end differentiable form. For robust tracking performance, TAToo adopts a probabilistic formulation and enforces geometric constraints on the object level. Results: We validate TAToo on both simulation data, where ground truth motion is available, as well as on anthropomorphic phantom data, where optical tracking provides a strong baseline. We report sub-millimeter and millimeter inter-frame tracking accuracy for skull and drill, respectively, with rotation errors below 1{\deg}. We further illustrate how TAToo may be used in a surgical navigation setting. Conclusion: We present TAToo, which simultaneously tracks the surgical tool and the patient anatomy in skull-base surgery. TAToo directly predicts the motion from surgical videos, without the need of any markers. Our results show that the performance of TAToo compares favorably to competing approaches. Future work will include fine-tuning of our depth network to reach a 1 mm clinical accuracy goal desired for surgical applications in the skull base.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google