On the Fly Robotic-Assisted Medical Instrument Planning and Execution Using Mixed Reality

要約

ロボット支援医療システム (RAMS) は、外科医の疲労を軽減し、患者の転帰を改善する利点があるため、大きな注目を集めています。
これらのシステムは、医療現場の監視、解剖学的標的計画、ロボット操作など、さまざまな人間とコンピューターの対話で構成されています。
ただし、RAMS はその多用途性と有効性にもかかわらず、ロボット工学の専門知識を必要とするため、オペレーターの学習コストが高くなります。
この研究では、RAMS の使用を容易にするために、複合現実テクノロジーを使用した新しいフレームワークを導入します。
提案されたフレームワークは、3D 解剖学的画像オーバーレイ、人間とロボットの衝突検出、およびロボット プログラミング インターフェイスを提供することにより、医療機器のリアルタイムの計画と実行を実現します。
これらの機能は、ヘッドマウント ディスプレイの使いやすいキャリブレーション方法と統合されており、人間とロボットのインタラクションの有効性を向上させます。
フレームワークの実現可能性を評価するために、この研究では 2 つの医療応用例を紹介します: 1) 経頭蓋磁気刺激中のコイルの配置、および 2) 大腿骨形成術中のドリルとインジェクター デバイスの位置決め。
これらのユースケースの結果は、より広範囲の医療シナリオに拡張できる可能性を示しています。

要約(オリジナル)

Robotic-assisted medical systems (RAMS) have gained significant attention for their advantages in alleviating surgeons’ fatigue and improving patients’ outcomes. These systems comprise a range of human-computer interactions, including medical scene monitoring, anatomical target planning, and robot manipulation. However, despite its versatility and effectiveness, RAMS demands expertise in robotics, leading to a high learning cost for the operator. In this work, we introduce a novel framework using mixed reality technologies to ease the use of RAMS. The proposed framework achieves real-time planning and execution of medical instruments by providing 3D anatomical image overlay, human-robot collision detection, and robot programming interface. These features, integrated with an easy-to-use calibration method for head-mounted display, improve the effectiveness of human-robot interactions. To assess the feasibility of the framework, two medical applications are presented in this work: 1) coil placement during transcranial magnetic stimulation and 2) drill and injector device positioning during femoroplasty. Results from these use cases demonstrate its potential to extend to a wider range of medical scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google