CholecTriplet2022: Show me a tool and tell me the triplet — an endoscopic vision challenge for surgical action triplet detection

要約

外科活動を、使用器具、実行されるアクション、および対象の解剖学的構造のトリプレットとして形式化することは、外科活動モデリングのゴールド スタンダード アプローチになりつつあります。
利点は、この形式化により、ツールと組織の相互作用をより詳細に理解するのに役立ち、画像誘導手術のためのより優れた人工知能支援を開発するために使用できることです。
以前の取り組みと 2021 年に導入された CholecTriplet チャレンジにより、手術映像からこれらのトリプレットを認識することを目的とした技術がまとめられました。
トリプレットの空間位置も推定すると、コンピュータ支援介入のためのより正確な術中コンテキスト認識意思決定サポートが提供されます。
このホワイト ペーパーでは、CholecTriplet2022 チャレンジについて説明します。これは、外科手術のトリプレット モデリングを認識から検出に拡張するものです。
これには、主要なアクターとしてのすべての目に見える手術器具 (またはツール) の弱教師付きバウンディング ボックス ローカリゼーションと、各ツール アクティビティの トリプレットの形でのモデリングが含まれます。
この論文では、タスクを解決するための課題で提示されたベースライン手法と 10 の新しい深層学習アルゴリズムについて説明しています。
また、方法の徹底的な方法論的比較、得られた結果の詳細な分析、その重要性、および将来の研究の方向性と手術への応用に役立つ洞察も提供します。

要約(オリジナル)

Formalizing surgical activities as triplets of the used instruments, actions performed, and target anatomies is becoming a gold standard approach for surgical activity modeling. The benefit is that this formalization helps to obtain a more detailed understanding of tool-tissue interaction which can be used to develop better Artificial Intelligence assistance for image-guided surgery. Earlier efforts and the CholecTriplet challenge introduced in 2021 have put together techniques aimed at recognizing these triplets from surgical footage. Estimating also the spatial locations of the triplets would offer a more precise intraoperative context-aware decision support for computer-assisted intervention. This paper presents the CholecTriplet2022 challenge, which extends surgical action triplet modeling from recognition to detection. It includes weakly-supervised bounding box localization of every visible surgical instrument (or tool), as the key actors, and the modeling of each tool-activity in the form of triplet. The paper describes a baseline method and 10 new deep learning algorithms presented at the challenge to solve the task. It also provides thorough methodological comparisons of the methods, an in-depth analysis of the obtained results, their significance, and useful insights for future research directions and applications in surgery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google