SWAG: Long-term Surgical Workflow Prediction with Generative-based Anticipation

要約

既存のアプローチは現在の外科段階を認識することに優れていますが、将来の手続き段階への限られた先見性と術中ガイダンスを提供します。
同様に、現在の予測方法は、短期的および特異なイベントを予測することに制約されており、外科的ワークフローの密度と連続した性質を無視しています。
これらのニーズと制限に対処するために、SWAG（Surgical Workflow Heascativative Generation）を提案します。これは、外科的ワークフローガイダンスのための生成アプローチを使用して、位相認識と予想を組み合わせたフレームワークです。
このペーパーでは、2つの異なるデコード方法シングルパス（SP）と自動回帰（AR）を調査して、最大60分間の長い視野にわたって瞬間に将来の外科相のシーケンスを生成します。
事前の知識を使用して、位相予測の精度を高めるための新しい埋め込みアプローチを提案します。
さらに、予想されるフレームワークは残りの時間回帰を提供し、分類から分類への回帰（R2C）メソッドを提案します。
SWAGのパフォーマンスは、CHOLEC80およびAutolaparo21データセットで評価されました。
事前知識の埋め込み（SP*）を備えたシングルパスモデルは、Autolaparo21で18分間で49.8％の平均精度を達成しますが、R2C拡張の単純なSPはChoLEC80の同じ地平線で56.6％の平均精度に達します。
さらに、私たちのアプローチは、2分間および3分間の地平線でそれぞれ0.32および0.48分の加重平均絶対誤差を達成し、それぞれ2分間と3分間の視野で0.32および0.48分の既存の方法を上回ります。
SWAGは、分類タスクと回帰タスク全体の汎用性を示し、外科的ワークフロー認識と予想の間に時間的連続性を生み出します。
術中に生成ベースの予測の影響を理解するにはさらなる研究が必要ですが、私たちの方法はこの方向への手順を提供します。

要約(オリジナル)

While existing approaches excel at recognising current surgical phases, they provide limited foresight and intraoperative guidance into future procedural steps. Similarly, current anticipation methods are constrained to predicting short-term and singular events, neglecting the dense and sequential nature of surgical workflows. To address these needs and limitations, we propose SWAG (Surgical Workflow Anticipative Generation), a framework to combine phase recognition and anticipation, using a generative approach for surgical workflow guidance. This paper investigates two distinct decoding methods-single-pass (SP) and auto-regressive (AR)-to generate sequences of future surgical phases at minute intervals over long horizons of up to 60 minutes. We propose a novel embedding approach using prior knowledge to enhance the accuracy of phase anticipation. Additionally, our anticipative framework offers remaining time regression and proposes a regression-to-classification (R2C) method. SWAG’s performance was evaluated on the Cholec80 and AutoLaparo21 datasets. Our single-pass model with prior knowledge embeddings (SP*) achieves 49.8% mean accuracy over 18-minute anticipation on AutoLaparo21, while the simple SP with R2C extension reaches 56.6% mean accuracy over the same horizon on Cholec80. Moreover, our approach outperforms existing methods on the phase remaining time regression task, achieving weighted mean absolute errors of 0.32 and 0.48 minutes for 2- and 3-minute horizons, respectively. SWAG demonstrates versatility across classification and regression tasks and creates a temporal continuity between surgical workflow recognition and anticipation. While further studies are required to understand the impact of generative-based anticipation intraoperatively, our method provides steps towards this direction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google