Anatomy Might Be All You Need: Forecasting What to Do During Surgery

要約

外科的指導はさまざまな方法で提供できます。
脳神経外科では、術前のMRIスキャンを参照する神経視力システムを通じて主に空間的なガイダンスと方向が達成されます。
最近、内視鏡などのツールからのビデオフィードを分析することにより、ライブガイダンスを提供することに関心が高まっています。
解剖学的検出、方向フィードバック、位相認識、視覚的質問を含む既存のアプローチは、主に現在の外科シーンの評価に外科医を支援することに焦点を当てています。
この作業の目的は、手術器具の軌跡を予測することによりガイダンスを提供することを目的とした、より細かい規模でガイダンスを提供することを目的としており、本質的に次に何をすべきかという問題に対処します。
このタスクに対処するために、手術器具の歴史的な場所を活用するだけでなく、解剖学的特徴を統合するモデルを提案します。
重要なことに、私たちの仕事は、機器の軌跡の明示的な基本ラベルに依存していません。
代わりに、グラウンドトゥルースは、下垂体手術ビデオを含む包括的なデータセットの外科的ビデオ内で解剖学的構造と機器の両方を検出するように訓練された検出モデルによって生成されます。
これらのビデオの解剖学と機器の動きとの相互作用を分析し、将来の機器の動きを予測することにより、解剖学的特徴がこの困難なタスクに対処する上で貴重な資産であることを示します。
私たちの知る限り、この作業は、手動で手術された手術のためにこのタスクに対処する最初の試みです。

要約(オリジナル)

Surgical guidance can be delivered in various ways. In neurosurgery, spatial guidance and orientation are predominantly achieved through neuronavigation systems that reference pre-operative MRI scans. Recently, there has been growing interest in providing live guidance by analyzing video feeds from tools such as endoscopes. Existing approaches, including anatomy detection, orientation feedback, phase recognition, and visual question-answering, primarily focus on aiding surgeons in assessing the current surgical scene. This work aims to provide guidance on a finer scale, aiming to provide guidance by forecasting the trajectory of the surgical instrument, essentially addressing the question of what to do next. To address this task, we propose a model that not only leverages the historical locations of surgical instruments but also integrates anatomical features. Importantly, our work does not rely on explicit ground truth labels for instrument trajectories. Instead, the ground truth is generated by a detection model trained to detect both anatomical structures and instruments within surgical videos of a comprehensive dataset containing pituitary surgery videos. By analyzing the interaction between anatomy and instrument movements in these videos and forecasting future instrument movements, we show that anatomical features are a valuable asset in addressing this challenging task. To the best of our knowledge, this work is the first attempt to address this task for manually operated surgeries.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google