Methods and datasets for segmentation of minimally invasive surgical instruments in endoscopic images and videos: A review of the state of the art

要約

コンピュータおよびロボット支援による低侵襲手術の分野では、内視鏡画像やビデオにおける手術器具の認識に基づいて、近年大きな進歩が見られました。
特に、器具の位置と種類の決定は非常に興味深いものです。
現在の研究には、空間的情報と時間的情報の両方が含まれており、時間の経過に伴う手術器具の動きを予測することで最終的なセグメンテーションの品質が向上する可能性があるという考えに基づいています。
最近では、公開されたデータセットの提供により、主に深層学習に基づいた新しい手法の開発が促進されています。
このレビューでは、手法の開発と評価に使用されるデータセットを特定して特徴付け、文献での使用頻度を定量化します。
さらに、内視鏡画像とビデオにおける低侵襲手術器具のセグメンテーションと追跡に関する研究の現状の概要を示します。
この論文は、単一フレームのセマンティックアプローチとインスタンスセグメンテーションアプローチ、および時間情報を組み込んだアプローチの両方を考慮し、機器にいかなる種類のマーカーも取り付けずに純粋に視覚的に機能する方法に焦点を当てています。
分析された出版物は、Google Scholar、Web of Science、PubMed のプラットフォームを通じて特定されました。
使用された検索用語は「器具セグメンテーション」、「器具追跡」、「手術器具セグメンテーション」、「手術器具追跡」で、その結果、2015 年 1 月から 2023 年 7 月までに発行された記事は合計 741 件となり、そのうち 123 件が含まれていました。
体系的な選択基準を使用します。
レビューされた文献の議論が提供され、既存の欠点が強調され、将来の開発に利用可能な可能性が強調されます。

要約(オリジナル)

In the field of computer- and robot-assisted minimally invasive surgery, enormous progress has been made in recent years based on the recognition of surgical instruments in endoscopic images and videos. In particular, the determination of the position and type of instruments is of great interest. Current work involves both spatial and temporal information, with the idea that predicting the movement of surgical tools over time may improve the quality of the final segmentations. The provision of publicly available datasets has recently encouraged the development of new methods, mainly based on deep learning. In this review, we identify and characterize datasets used for method development and evaluation and quantify their frequency of use in the literature. We further present an overview of the current state of research regarding the segmentation and tracking of minimally invasive surgical instruments in endoscopic images and videos. The paper focuses on methods that work purely visually, without markers of any kind attached to the instruments, considering both single-frame semantic and instance segmentation approaches, as well as those that incorporate temporal information. The publications analyzed were identified through the platforms Google Scholar, Web of Science, and PubMed. The search terms used were ‘instrument segmentation’, ‘instrument tracking’, ‘surgical tool segmentation’, and ‘surgical tool tracking’, resulting in a total of 741 articles published between 01/2015 and 07/2023, of which 123 were included using systematic selection criteria. A discussion of the reviewed literature is provided, highlighting existing shortcomings and emphasizing the available potential for future developments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google