EgoSurgery-HTS: A Dataset for Egocentric Hand-Tool Segmentation in Open Surgery Videos

要約

エゴセントリックのオープンスラージビデオは、手術室での外科的処置と人間の行動を正確にモデル化するために不可欠な豊かできめの細かい詳細をキャプチャします。
手と外科用ツールの詳細なピクセルレベルの理解は、外科医の行動と意図を解釈するために重要です。
Egosurgery-HTS、ピクセルごとの注釈を備えた新しいデータセット、およびエゴセントリックのオープンサージェリービデオで手術ツール、ハンド、および相互作用ツールをセグメント化するためのベンチマークスイートを紹介します。
具体的には、（1）14の異なる外科ツールの（2）ハンドインスタンスセグメンテーション、および（3）ハンドツールセグメンテーションのハンドとそれらが操作するツールのセグメンテーションのテーマインスタンスセグメンテーションのラベル付きデータセットを提供します。
Egosurgery-HTSを使用して、最先端のセグメンテーション方法の広範な評価を実施し、既存のデータセットと比較して、エゴセントリックのオープンサージェリービデオのハンドおよびハンドツールセグメンテーションの精度の大幅な改善を示します。
データセットはhttps://github.com/fujiry0/egosurgeryでリリースされます。

要約(オリジナル)

Egocentric open-surgery videos capture rich, fine-grained details essential for accurately modeling surgical procedures and human behavior in the operating room. A detailed, pixel-level understanding of hands and surgical tools is crucial for interpreting a surgeon’s actions and intentions. We introduce EgoSurgery-HTS, a new dataset with pixel-wise annotations and a benchmark suite for segmenting surgical tools, hands, and interacting tools in egocentric open-surgery videos. Specifically, we provide a labeled dataset for (1) tool instance segmentation of 14 distinct surgical tools, (2) hand instance segmentation, and (3) hand-tool segmentation to label hands and the tools they manipulate. Using EgoSurgery-HTS, we conduct extensive evaluations of state-of-the-art segmentation methods and demonstrate significant improvements in the accuracy of hand and hand-tool segmentation in egocentric open-surgery videos compared to existing datasets. The dataset will be released at https://github.com/Fujiry0/EgoSurgery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google