Adaptive Graph Learning from Spatial Information for Surgical Workflow Anticipation

要約

手術ワークフローの予測は、ライブビデオデータから関連する手術イベントのタイミングを予測するタスクであり、ロボット支援手術 (RAS) では重要です。
正確な予測を行うには、空間情報を使用して手術の相互作用をモデル化する必要があります。
しかし、現在の方法は外科用器具のみに焦点を当てており、器具間の静的な相互作用を想定しており、一定の時間枠内での外科的イベントのみを予測しています。
これらの課題に対処するために、私たちは 3 つの主要な革新を特徴とする、新しい空間表現に基づく外科ワークフロー予測のための適応グラフ学習フレームワークを提案します。
まず、手術器具とターゲットの境界ボックスに基づいた、検出信頼レベルを含む空間情報の新しい表現を導入します。
これらは、2 つのベンチマーク データセットに対して提供される追加のアノテーションに基づいてトレーニングされます。
次に、動的インタラクションをキャプチャするための適応グラフ学習方法を設計します。
第三に、さまざまな期間の学習目標のバランスをとり、制約のない予測を可能にするマルチホライズンの目標を開発します。
2 つのベンチマークの評価により、短期から中期の予測において優れたパフォーマンスが示され、手術段階の予測では誤差が約 3%、残りの手術期間の予測では誤差が 9% 減少しました。
これらのパフォーマンスの向上は、私たちの手法の有効性を実証し、RAS チーム内の準備と調整を強化する可能性を強調しています。
これにより、手術の安全性と手術室の使用効率が向上します。

要約(オリジナル)

Surgical workflow anticipation is the task of predicting the timing of relevant surgical events from live video data, which is critical in Robotic-Assisted Surgery (RAS). Accurate predictions require the use of spatial information to model surgical interactions. However, current methods focus solely on surgical instruments, assume static interactions between instruments, and only anticipate surgical events within a fixed time horizon. To address these challenges, we propose an adaptive graph learning framework for surgical workflow anticipation based on a novel spatial representation, featuring three key innovations. First, we introduce a new representation of spatial information based on bounding boxes of surgical instruments and targets, including their detection confidence levels. These are trained on additional annotations we provide for two benchmark datasets. Second, we design an adaptive graph learning method to capture dynamic interactions. Third, we develop a multi-horizon objective that balances learning objectives for different time horizons, allowing for unconstrained predictions. Evaluations on two benchmarks reveal superior performance in short-to-mid-term anticipation, with an error reduction of approximately 3% for surgical phase anticipation and 9% for remaining surgical duration anticipation. These performance improvements demonstrate the effectiveness of our method and highlight its potential for enhancing preparation and coordination within the RAS team. This can improve surgical safety and the efficiency of operating room usage.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google