TUNeS: A Temporal U-Net with Self-Attention for Video-based Surgical Phase Recognition

要約

目的：将来の手術室でコンテキストを認識するコンピューター支援を可能にするために、認知システムは、どの外科段階が医療チームによって実行されているかを自動的に理解する必要があります。
外科的相認識の主な情報源は通常、ビデオの2つの課題を提示するビデオです。ビデオストリームから意味のある機能を抽出し、視覚的特徴のシーケンスで一時的な情報を効果的にモデル化することです。
方法：時間モデリングの場合、長距離依存関係を捉える能力により、注意メカニズムが人気を博しています。
この論文では、外科相認識のための既存の時間モデルでの注意のための設計の選択を探り、注意をより効果的に使用し、手作りの制約を必要としない新しいアプローチを提案します。
畳み込み型U-NET構造の中核。
さらに、標準のCNNである機能抽出器を、好ましくも長いビデオセグメントのLSTM、つまり長い時間コンテキストでトレーニングすることを提案します。
結果：実験では、ほぼすべての時間モデルが、より長い時間的コンテキストで訓練された特徴抽出器の上でより良いパフォーマンスを発揮しました。
これらのコンテキスト化された機能では、TunesはCHOLEC80データセットで最新の結果を達成します。
結論：この研究は、注意メカニズムを使用して、外科的相認識のための正確で効率的な時間モデルを構築する方法に関する新しい洞察を提供します。
重要性：外科的ワークフローの分析と最適化を自動化し、手術中にコンテキストを認識するコンピューター支援を可能にするためには、最終的に患者ケアを改善するためには、自動手術相認識を実装することが不可欠です。

要約(オリジナル)

Objective: To enable context-aware computer assistance in the operating room of the future, cognitive systems need to understand automatically which surgical phase is being performed by the medical team. The primary source of information for surgical phase recognition is typically video, which presents two challenges: extracting meaningful features from the video stream and effectively modeling temporal information in the sequence of visual features. Methods: For temporal modeling, attention mechanisms have gained popularity due to their ability to capture long-range dependencies. In this paper, we explore design choices for attention in existing temporal models for surgical phase recognition and propose a novel approach that uses attention more effectively and does not require hand-crafted constraints: TUNeS, an efficient and simple temporal model that incorporates self-attention at the core of a convolutional U-Net structure. In addition, we propose to train the feature extractor, a standard CNN, together with an LSTM on preferably long video segments, i.e., with long temporal context. Results: In our experiments, almost all temporal models performed better on top of feature extractors that were trained with longer temporal context. On these contextualized features, TUNeS achieves state-of-the-art results on the Cholec80 dataset. Conclusion: This study offers new insights on how to use attention mechanisms to build accurate and efficient temporal models for surgical phase recognition. Significance: Implementing automatic surgical phase recognition is essential to automate the analysis and optimization of surgical workflows and to enable context-aware computer assistance during surgery, thus ultimately improving patient care.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google