CholecTriplet2021: A benchmark challenge for surgical action triplet recognition

要約

手術室での状況に応じた意思決定支援は、手術ワークフロー分析からのリアルタイムのフィードバックを活用することで、手術の安全性と効率を促進します。
ほとんどの既存の作業は、フェーズ、ステップ、またはイベントなどの大まかなレベルで外科的活動を認識し、外科的活動に関する細粒度の相互作用の詳細を除外しています。
しかし、これらは手術室でより役立つ AI 支援を行うために必要です。
の組み合わせのトリプレットとして外科的処置を認識することで、外科的ビデオで行われている活動に関する包括的な詳細を提供します。
この論文では、CholecTriplet2021 を紹介します。MICCAI 2021 で開催された、腹腔鏡ビデオでの外科手術トリプレットの認識のための内視鏡ビジョン チャレンジです。
このチャレンジにより、アクション トリプレット情報で注釈が付けられた大規模な CholecT50 データセットへのプライベート アクセスが許可されました。
このホワイト ペーパーでは、チャレンジ中に参加者によって提案された最先端の深層学習手法のチャレンジ設定と評価について説明します。
チャレンジ オーガナイザーによる合計 4 つのベースライン メソッドと、競合するチームによる 19 の新しいディープ ラーニング アルゴリズムが提示され、手術ビデオから直接手術アクション トリプレットを認識し、4.2% から 38.1% の範囲の平均精度 (mAP) を達成します。
この研究では、提示されたアプローチによって得られた結果の重要性も分析し、それらの間の徹底的な方法論的比較、詳細な結果分析を実行し、認識を強化するための新しいアンサンブル方法を提案します。
私たちの分析は、手術ワークフロー分析がまだ解決されていないことを示しており、手術における AI の開発にとって最も重要な、きめの細かい手術活動認識に関する将来の研究の興味深い方向性も浮き彫りにしています。

要約(オリジナル)

Context-aware decision support in the operating room can foster surgical safety and efficiency by leveraging real-time feedback from surgical workflow analysis. Most existing works recognize surgical activities at a coarse-grained level, such as phases, steps or events, leaving out fine-grained interaction details about the surgical activity; yet those are needed for more helpful AI assistance in the operating room. Recognizing surgical actions as triplets of combination delivers comprehensive details about the activities taking place in surgical videos. This paper presents CholecTriplet2021: an endoscopic vision challenge organized at MICCAI 2021 for the recognition of surgical action triplets in laparoscopic videos. The challenge granted private access to the large-scale CholecT50 dataset, which is annotated with action triplet information. In this paper, we present the challenge setup and assessment of the state-of-the-art deep learning methods proposed by the participants during the challenge. A total of 4 baseline methods from the challenge organizers and 19 new deep learning algorithms by competing teams are presented to recognize surgical action triplets directly from surgical videos, achieving mean average precision (mAP) ranging from 4.2% to 38.1%. This study also analyzes the significance of the results obtained by the presented approaches, performs a thorough methodological comparison between them, in-depth result analysis, and proposes a novel ensemble method for enhanced recognition. Our analysis shows that surgical workflow analysis is not yet solved, and also highlights interesting directions for future research on fine-grained surgical activity recognition which is of utmost importance for the development of AI in surgery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google