Towards Safer Robot-Assisted Surgery: A Markerless Augmented Reality Framework

要約

ロボット支援手術は医療分野で急速に発展しており、拡張現実の統合により、より多くの視覚情報が提供されることで外科医の手術パフォーマンスが向上する可能性が示されています。
本稿では、手術器具と血管の衝突による高リスクである術中出血を回避し、安全性を高めるマーカーレス拡張現実フレームワークを提案した。
高度なステレオ再構成とセグメンテーション ネットワークを比較して、術前モデルの登録のために 3D 空間で術中の血管を再構成するための最適な組み合わせを見つけ出し、器具と血管の間の最小距離検出を実装します。
。
ロボット支援によるリンパ節切除術はドライラボのダヴィンチリサーチキットでシミュレートされ、提案されたフレームワークの有用性を調査するために10人の被験者がこの手術を実行しました。
この結果は、拡張現実フレームワークが、ユーザーが余分な負荷を加えることなく、器具と血管の間の危険な衝突を回避できることを示しています。
拡張現実を医療ロボット プラットフォームに統合し、手術中の安全性を高める柔軟なフレームワークを提供します。

要約(オリジナル)

Robot-assisted surgery is rapidly developing in the medical field, and the integration of augmented reality shows the potential of improving the surgeons’ operation performance by providing more visual information. In this paper, we proposed a markerless augmented reality framework to enhance safety by avoiding intra-operative bleeding which is a high risk caused by the collision between the surgical instruments and the blood vessel. Advanced stereo reconstruction and segmentation networks are compared to find out the best combination to reconstruct the intra-operative blood vessel in the 3D space for the registration of the pre-operative model, and the minimum distance detection between the instruments and the blood vessel is implemented. A robot-assisted lymphadenectomy is simulated on the da Vinci Research Kit in a dry lab, and ten human subjects performed this operation to explore the usability of the proposed framework. The result shows that the augmented reality framework can help the users to avoid the dangerous collision between the instruments and the blood vessel while not introducing an extra load. It provides a flexible framework that integrates augmented reality into the medical robot platform to enhance safety during the operation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google