Setup-Invariant Augmented Reality for Teaching by Demonstration with Surgical Robots

要約

拡張現実(AR)は、探索的学習と3次元ガイダンスを組み合わせたため、ロボット手術教育における効果的なツールです。
ただし、既存のARシステムには専門家の監督が必要であり、メンターとメンティーのロボット構成の違いを考慮していません。
エキスパートに基づいたガイダンスを受け取りながら初心者が手術室の外でトレーニングできるようにするために、DV-Stear:ExpertとNoviceの間の同一のセットアップジョイントポジションを想定せずにタスクに配置されたエキスパートデモンストレーションを再生するオープンソースシステムを提示します。
ポーズ推定は厳密に定量化され、3.86(SD = 2.01)mmの登録エラーが示されました。
ユーザー調査(n = 24)では、DVステアは、腹腔鏡手術の基礎からのタスクの初心者のパフォーマンスを大幅に改善しました。
片手のリングオーバーワイヤータスクでは、DVステアの完了速度(P = 0.03)の増加(P = 0.03)およびドライラブトレーニングのみと比較して衝突時間(P = 0.01)の短縮(P = 0.01)が増加しました。
ピックアンドプレイスタスク中に、成功率が向上しました(p = 0.004)。
両方のタスクで、DV-Stearを使用している参加者は、よりバランスの取れた手の使用を著しく示し、フラストレーションレベルが低いと報告しました。
この作品は、Da Vinci Research Kitに実装された新しい教育ツールを提示し、初心者を教える上でその有効性を実証し、ロボット支援手術へのさらなるAR統合の基礎を構築します。

要約(オリジナル)

Augmented reality (AR) is an effective tool in robotic surgery education as it combines exploratory learning with three-dimensional guidance. However, existing AR systems require expert supervision and do not account for differences in the mentor and mentee robot configurations. To enable novices to train outside the operating room while receiving expert-informed guidance, we present dV-STEAR: an open-source system that plays back task-aligned expert demonstrations without assuming identical setup joint positions between expert and novice. Pose estimation was rigorously quantified, showing a registration error of 3.86 (SD=2.01)mm. In a user study (N=24), dV-STEAR significantly improved novice performance on tasks from the Fundamentals of Laparoscopic Surgery. In a single-handed ring-over-wire task, dV-STEAR increased completion speed (p=0.03) and reduced collision time (p=0.01) compared to dry-lab training alone. During a pick-and-place task, it improved success rates (p=0.004). Across both tasks, participants using dV-STEAR exhibited significantly more balanced hand use and reported lower frustration levels. This work presents a novel educational tool implemented on the da Vinci Research Kit, demonstrates its effectiveness in teaching novices, and builds the foundation for further AR integration into robot-assisted surgery.

arxiv情報

著者 Alexandre Banks,Richard Cook,Septimiu E. Salcudean
発行日 2025-04-09 08:34:25+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.HC, cs.RO, cs.SY, eess.SY, I.4.9 パーマリンク