Surgical tool classification and localization: results and methods from the MICCAI 2022 SurgToolLoc challenge

要約

内視鏡ビデオ内の手術器具を自動的に検出して追跡する機能により、革新的な介入が可能になります。
手術のパフォーマンスと効率の評価、熟練したツールの使用と振り付けの特定、手術室リソースの運用面と物流面の計画などは、恩恵を受ける可能性のあるアプリケーションのほんの一部です。
残念ながら、機械学習モデルをトレーニングして手術器具を識別し位置を特定するために必要なアノテーションを取得することは困難な作業です。
境界ボックスにフレームごとに注釈を付けるのは面倒で時間がかかりますが、堅牢なトレーニングのためには、さまざまな手術ツールや手術に関する大量のデータをキャプチャする必要があります。
さらに、手術器具の革新を常に最新の状態に保つには、継続的なアノテーターのトレーニングが必要です。
しかし、ロボット支援手術では、器具の取り付けと取り外しのタイムスタンプなどの潜在的に有益なデータをプログラムで収集できます。
ツールの設置データのみに依存する機能により、堅牢なツール追跡モデルをトレーニングするための作業負荷が大幅に軽減されます。
この動機を念頭に置いて、私たちは外科データ サイエンス コミュニティにこのチャレンジ、SurgToolLoc 2022 への参加を呼びかけました。目標は、ツールを検出し、境界ボックスを使用してビデオ フレーム内でツールを位置特定するように訓練された機械学習モデルの弱いラベルとしてツールの存在データを活用することでした。
この挑戦の結果を、チームの多くの取り組みとともに紹介します。
最後に、これらの結果を機械学習と外科データ サイエンスのより広範な文脈で議論します。
このチャレンジに使用された、ツールの存在ラベルが付いた 24,695 個のビデオ クリップで構成されるトレーニング データも公開されており、https://console.cloud.google.com/storage/browser/isi-surgtoolloc-2022 からアクセスできます。

要約(オリジナル)

The ability to automatically detect and track surgical instruments in endoscopic videos can enable transformational interventions. Assessing surgical performance and efficiency, identifying skilled tool use and choreography, and planning operational and logistical aspects of OR resources are just a few of the applications that could benefit. Unfortunately, obtaining the annotations needed to train machine learning models to identify and localize surgical tools is a difficult task. Annotating bounding boxes frame-by-frame is tedious and time-consuming, yet large amounts of data with a wide variety of surgical tools and surgeries must be captured for robust training. Moreover, ongoing annotator training is needed to stay up to date with surgical instrument innovation. In robotic-assisted surgery, however, potentially informative data like timestamps of instrument installation and removal can be programmatically harvested. The ability to rely on tool installation data alone would significantly reduce the workload to train robust tool-tracking models. With this motivation in mind we invited the surgical data science community to participate in the challenge, SurgToolLoc 2022. The goal was to leverage tool presence data as weak labels for machine learning models trained to detect tools and localize them in video frames with bounding boxes. We present the results of this challenge along with many of the team’s efforts. We conclude by discussing these results in the broader context of machine learning and surgical data science. The training data used for this challenge consisting of 24,695 video clips with tool presence labels is also being released publicly and can be accessed at https://console.cloud.google.com/storage/browser/isi-surgtoolloc-2022.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google