Creating a Digital Twin of Spinal Surgery: A Proof of Concept

要約

手術のデジタル化は、現実世界の手術の仮想レプリカを作成するプロセスであり、外科用デジタル ツイン (SDT) とも呼ばれます。
教育と訓練、手術計画、手術作業の自動化など、さまざまな分野で重要な用途があります。
外科手術の詳細な表現を考慮すると、SDT は機械学習手法の理想的な基盤であり、トレーニング データの自動生成を可能にします。
ロボット手術では、SDT はロボットが試行錯誤を通じて学習できる現実的な仮想環境を提供できます。
この論文では、現実的な条件で実行される体外脊椎手術に適用される手術デジタル化の概念実証 (PoC) を紹介します。
提案されているデジタル化は、手術シーン全体の形状と外観の取得とモデリングに焦点を当てています。
外科医の動的な 3D 再構成には 5 台の RGB-D カメラ、解剖学的構造の 3D 再構成にはハイエンド カメラ、手術器具の追跡には赤外線ステレオ カメラ、手術室の 3D 再構成とデータ融合にはレーザー スキャナを採用しています。
。
提案された方法論を正当化し、直面する課題とプロトタイプのさらなる拡張について議論します。
私たちの PoC は部分的に手動のデータ キュレーションに依存していますが、その高品質と大きな可能性により、SDT 作成の自動化手法の開発が促進されます。
SDT の品質は、https://youtu.be/LqVaWGgaTMY で利用できるレンダリングされたビデオで評価できます。

要約(オリジナル)

Surgery digitalization is the process of creating a virtual replica of real-world surgery, also referred to as a surgical digital twin (SDT). It has significant applications in various fields such as education and training, surgical planning, and automation of surgical tasks. Given their detailed representations of surgical procedures, SDTs are an ideal foundation for machine learning methods, enabling automatic generation of training data. In robotic surgery, SDTs can provide realistic virtual environments in which robots may learn through trial and error. In this paper, we present a proof of concept (PoC) for surgery digitalization that is applied to an ex-vivo spinal surgery performed in realistic conditions. The proposed digitalization focuses on the acquisition and modelling of the geometry and appearance of the entire surgical scene. We employ five RGB-D cameras for dynamic 3D reconstruction of the surgeon, a high-end camera for 3D reconstruction of the anatomy, an infrared stereo camera for surgical instrument tracking, and a laser scanner for 3D reconstruction of the operating room and data fusion. We justify the proposed methodology, discuss the challenges faced and further extensions of our prototype. While our PoC partially relies on manual data curation, its high quality and great potential motivate the development of automated methods for the creation of SDTs. The quality of our SDT can be assessed in a rendered video available at https://youtu.be/LqVaWGgaTMY .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google