SurgiTrack: Fine-Grained Multi-Class Multi-Tool Tracking in Surgical Videos

要約

コンピュータ支援介入を成功させるには、ツールの正確な追跡が不可欠です。
これまでの取り組みでは、ツールの軌道が厳密にモデル化されることが多く、特に体外やカメラ外のビューなどの追跡シナリオなど、外科手術の動的な性質が見落とされていました。
この制限に対処するために、新しい CholecTrack20 データセットは、(1) 術中、(2) 体内、および (3) 可視性の 3 つの観点で複数のツールの軌跡を説明する詳細なラベルを提供し、さまざまなタイプのツール トラックの時間的持続時間を表します。
これらのきめの細かいラベルにより、追跡の柔軟性が向上しますが、タスクの複雑さも増加します。
特に同じカテゴリのツール間では視覚的な類似性が高いため、閉塞または体内へ​​の再挿入後にツールを再識別することは依然として困難です。
この研究では、ツール トラック インスタンス、特に同じツール カテゴリに属する​​インスタンスを区別する際のツール オペレータの重要な役割が認識されています。
ただし、オペレーターの情報は手術ビデオには明示的にキャプチャされません。
そこで、我々は、YOLOv7 を活用して正確なツールを検出し、ツールの再識別のためにオペレータの代理としてツールの発信方向をモデル化するアテンション メカニズムを採用する新しい深層学習手法である SurgiTrack を提案します。
多様なツール軌跡の観点を処理するために、SurgiTrack は調和のとれた 2 部マッチング グラフを採用し、競合を最小限に抑え、正確なツール ID の関連付けを保証します。
CholecTrack20 の実験結果は、SurgiTrack の有効性、ベースラインを上回るパフォーマンス、およびリアルタイム推論機能を備えた最先端のメソッドを実証しています。
この成果は、低侵襲手術におけるより適応性のある正確な支援のための動的軌道を提供する、手術ツール追跡の新たな基準を設定します。

要約(オリジナル)

Accurate tool tracking is essential for the success of computer-assisted intervention. Previous efforts often modeled tool trajectories rigidly, overlooking the dynamic nature of surgical procedures, especially tracking scenarios like out-of-body and out-of-camera views. Addressing this limitation, the new CholecTrack20 dataset provides detailed labels that account for multiple tool trajectories in three perspectives: (1) intraoperative, (2) intracorporeal, and (3) visibility, representing the different types of temporal duration of tool tracks. These fine-grained labels enhance tracking flexibility but also increase the task complexity. Re-identifying tools after occlusion or re-insertion into the body remains challenging due to high visual similarity, especially among tools of the same category. This work recognizes the critical role of the tool operators in distinguishing tool track instances, especially those belonging to the same tool category. The operators’ information are however not explicitly captured in surgical videos. We therefore propose SurgiTrack, a novel deep learning method that leverages YOLOv7 for precise tool detection and employs an attention mechanism to model the originating direction of the tools, as a proxy to their operators, for tool re-identification. To handle diverse tool trajectory perspectives, SurgiTrack employs a harmonizing bipartite matching graph, minimizing conflicts and ensuring accurate tool identity association. Experimental results on CholecTrack20 demonstrate SurgiTrack’s effectiveness, outperforming baselines and state-of-the-art methods with real-time inference capability. This work sets a new standard in surgical tool tracking, providing dynamic trajectories for more adaptable and precise assistance in minimally invasive surgeries.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google