Retrieval of surgical phase transitions using reinforcement learning

要約

低侵襲手術では、ビデオ分析からの手術ワークフローのセグメンテーションがよく研究されているトピックです。
従来のアプローチでは、個々のビデオ フレームが手術段階のラベルに関連付けられる複数クラスの分類問題として定義されています。
オフライン相転移検索のための新しい強化学習定式化を紹介します。
すべてのビデオ フレームを分類しようとする代わりに、各フェーズ遷移のタイムスタンプを識別します。
構造上、モデルはスプリアスでノイズの多い位相遷移を生成しませんが、連続した位相ブロックを生成します。
このモデルの 2 つの異なる構成を調査します。
1 つ目は、ビデオのすべてのフレームを処理する必要はありません (2 つの異なるアプリケーションでフレームの 60% 未満と 20% 未満) が、最先端の精度でわずかに結果を生成します。
2 番目の構成は、すべてのビデオ フレームを処理し、同等の計算コストで最先端技術を凌駕します。
公開データセット Cholec80 および腹腔鏡下仙骨固定術の社内データセットで、最近の最高性能のフレームベースのアプローチ TeCNO および Trans-SVNet と比較します。
フレームベース (精度、精度、再現率、F1 スコア) とイベントベース (イベント比率) の両方で、アルゴリズムの評価を行います。

要約(オリジナル)

In minimally invasive surgery, surgical workflow segmentation from video analysis is a well studied topic. The conventional approach defines it as a multi-class classification problem, where individual video frames are attributed a surgical phase label. We introduce a novel reinforcement learning formulation for offline phase transition retrieval. Instead of attempting to classify every video frame, we identify the timestamp of each phase transition. By construction, our model does not produce spurious and noisy phase transitions, but contiguous phase blocks. We investigate two different configurations of this model. The first does not require processing all frames in a video (only <60% and <20% of frames in 2 different applications), while producing results slightly under the state-of-the-art accuracy. The second configuration processes all video frames, and outperforms the state-of-the art at a comparable computational cost. We compare our method against the recent top-performing frame-based approaches TeCNO and Trans-SVNet on the public dataset Cholec80 and also on an in-house dataset of laparoscopic sacrocolpopexy. We perform both a frame-based (accuracy, precision, recall and F1-score) and an event-based (event ratio) evaluation of our algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google