LoViT: Long Video Transformer for Surgical Phase Recognition

要約

オンライン手術段階認識は、パフォーマンスを定量化し、手術ワークフローの実行を監視できるコンテキスト ツールの構築に向けて重要な役割を果たします。
現在のアプローチは、フレームレベルの監視を使用して空間特徴抽出器をトレーニングするため、制限されています。これは、異なるフェーズで同様のフレームが表示されるために不正確な予測につながる可能性があり、長いビデオの分析に一般的に影響を与える可能性がある計算上の制約によりローカル特徴とグローバル特徴の融合が不十分であるためです。
外科的介入で遭遇する。
この論文では、短期および長期の時間情報を融合するための Long Video Transformer (LoViT) と呼ばれる 2 段階の方法を紹介します。これは、時間的に豊富な空間特徴抽出器と、2 つのカスケードされた L から構成されるマルチスケール時間アグリゲーターを組み合わせます。
-セルフ アテンションに基づく Trans モジュール、続いてグローバル時間情報を処理するための ProbSparse セルフ アテンションに基づく G-Informer モジュール。
次に、マルチスケール側頭ヘッドは、局所的特徴と全体的特徴を組み合わせ、相転移を認識した監視を使用して手術相を分類します。
私たちのアプローチは、Cholec80 および AutoLaparo データセットに対する最先端の手法を一貫して上回っています。
Trans-SVNet と比較して、LoViT は、Cholec80 ではビデオ レベルの精度で 2.39 pp (パーセント ポイント) の向上を達成し、AutoLaporo では 3.14 pp の向上を達成しています。
さらに、AutoLaporo ではフェーズレベル Jaccard で 5.25 pp の改善、Cholec80 では 1.55 pp の改善を達成しています。
私たちの結果は、長いビデオに対応するメカニズムを導入しながら、異なる手術手順と時間シーケンス特性の 2 つのデータセットで手術段階認識の最先端のパフォーマンスを達成する際のアプローチの有効性を示しています。

要約(オリジナル)

Online surgical phase recognition plays a significant role towards building contextual tools that could quantify performance and oversee the execution of surgical workflows. Current approaches are limited since they train spatial feature extractors using frame-level supervision that could lead to incorrect predictions due to similar frames appearing at different phases, and poorly fuse local and global features due to computational constraints which can affect the analysis of long videos commonly encountered in surgical interventions. In this paper, we present a two-stage method, called Long Video Transformer (LoViT) for fusing short- and long-term temporal information that combines a temporally-rich spatial feature extractor and a multi-scale temporal aggregator consisting of two cascaded L-Trans modules based on self-attention, followed by a G-Informer module based on ProbSparse self-attention for processing global temporal information. The multi-scale temporal head then combines local and global features and classifies surgical phases using phase transition-aware supervision. Our approach outperforms state-of-the-art methods on the Cholec80 and AutoLaparo datasets consistently. Compared to Trans-SVNet, LoViT achieves a 2.39 pp (percentage point) improvement in video-level accuracy on Cholec80 and a 3.14 pp improvement on AutoLaparo. Moreover, it achieves a 5.25 pp improvement in phase-level Jaccard on AutoLaparo and a 1.55 pp improvement on Cholec80. Our results demonstrate the effectiveness of our approach in achieving state-of-the-art performance of surgical phase recognition on two datasets of different surgical procedures and temporal sequencing characteristics whilst introducing mechanisms that cope with long videos.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google