Depth Over RGB: Automatic Evaluation of Open Surgery Skills Using Depth Camera

要約

目的: この論文では、深度カメラを使用した開腹手術スキルの自動評価への新しいアプローチを紹介します。
この研究は、深度カメラが開腹手術スキルの自動評価における一般的な方法である RGB カメラと同様の結果を達成することを示すことを目的としています。
さらに、深度カメラには、照明の変化に対する堅牢性、カメラの位置決め、データ圧縮の簡素化、プライバシーの強化などの利点があり、RGB カメラの有望な代替品となっています。
方法: 専門家と初心者の外科医は、観血的縫合の 2 つのシミュレーターを完了しました。
私たちは、縫合手順における手と道具の検出、およびアクションのセグメント化に焦点を当てました。
YOLOv8 は、RGB および深度ビデオでのツール検出に使用されました。
さらに、アクションのセグメンテーションには UVAST と MSTCN++ を使用しました。
私たちの調査には、Azure Kinect で記録されたデータセットの収集と注釈が含まれています。
結果: オブジェクトの検出とアクションのセグメンテーションに深度カメラを使用すると、RGB カメラと同等の結果が得られることを実証しました。
さらに、3D 手の経路の長さを分析し、専門家と初心者の外科医の間の大きな違いを明らかにし、手術スキルの把握における深度カメラの可能性を強調しました。
また、測定精度に対するカメラ角度の影響も調査し、手の動きをより正確に表現できるという 3D カメラの利点を強調しました。
結論: 私たちの研究は、深度カメラを活用してより信頼性の高いプライバシー評価を行うことにより、外科技術評価分野の進歩に貢献します。
この研究結果は、深度カメラが外科技術を評価する上で価値があり、この分野における将来の研究の基盤となる可能性があることを示唆しています。

要約(オリジナル)

Purpose: In this paper, we present a novel approach to the automatic evaluation of open surgery skills using depth cameras. This work is intended to show that depth cameras achieve similar results to RGB cameras, which is the common method in the automatic evaluation of open surgery skills. Moreover, depth cameras offer advantages such as robustness to lighting variations, camera positioning, simplified data compression, and enhanced privacy, making them a promising alternative to RGB cameras. Methods: Experts and novice surgeons completed two simulators of open suturing. We focused on hand and tool detection, and action segmentation in suturing procedures. YOLOv8 was used for tool detection in RGB and depth videos. Furthermore, UVAST and MSTCN++ were used for action segmentation. Our study includes the collection and annotation of a dataset recorded with Azure Kinect. Results: We demonstrated that using depth cameras in object detection and action segmentation achieves comparable results to RGB cameras. Furthermore, we analyzed 3D hand path length, revealing significant differences between experts and novice surgeons, emphasizing the potential of depth cameras in capturing surgical skills. We also investigated the influence of camera angles on measurement accuracy, highlighting the advantages of 3D cameras in providing a more accurate representation of hand movements. Conclusion: Our research contributes to advancing the field of surgical skill assessment by leveraging depth cameras for more reliable and privacy evaluations. The findings suggest that depth cameras can be valuable in assessing surgical skills and provide a foundation for future research in this area.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google