Toward a Surgeon-in-the-Loop Ophthalmic Robotic Apprentice using Reinforcement and Imitation Learning

要約

ロボット支援手術システムは、手術の精度を高め、人的ミスを最小限に抑える上で大きな可能性を示しています。
しかし、既存のシステムは個々の外科医の独自の好みや要件に対応することができません。
さらに、これらは主に一般手術 (腹腔鏡検査など) に重点を置いており、眼科手術などの高精度の顕微手術には適していません。
したがって、眼科白内障手術中に個々の外科医のスキルレベルと好みの手術技術に適応できる外科医中心の自律エージェントのための画像誘導アプローチを提案します。
私たちのアプローチは、画像データによって導かれたカリキュラム学習アプローチを使用して強化学習エージェントと模倣学習エージェントを同時にトレーニングし、白内障手術の切開段階のすべてのタスクを実行します。
外科医の行動と好みをトレーニングプロセスに統合することで、私たちのアプローチは、ロボットが外科医のインザループデモンストレーションを通じて個々の外科医の独自の技術を暗黙的に学習し、適応できるようにします。
これにより、外科医にとってはより直観的でパーソナライズされた手術体験が得られると同時に、自律ロボット実習生にとっては一貫したパフォーマンスが保証されます。
私たちは、提案された指標を使用してシミュレートされた環境でのアプローチの有効性を定義および評価し、ジェネリックエージェントと外科医中心の適応エージェント間のトレードオフを強調します。
最後に、私たちのアプローチは他の眼科手術や顕微手術にも拡張できる可能性があり、新世代の外科医インザループ自律手術ロボットへの扉を開きます。
将来の開発と再現性のためのオープンソース シミュレーション フレームワークを https://github.com/amrgomaaelhady/CataractAdaptSurgRobot で提供しています。

要約(オリジナル)

Robot-assisted surgical systems have demonstrated significant potential in enhancing surgical precision and minimizing human errors. However, existing systems cannot accommodate individual surgeons’ unique preferences and requirements. Additionally, they primarily focus on general surgeries (e.g., laparoscopy) and are unsuitable for highly precise microsurgeries, such as ophthalmic procedures. Thus, we propose an image-guided approach for surgeon-centered autonomous agents that can adapt to the individual surgeon’s skill level and preferred surgical techniques during ophthalmic cataract surgery. Our approach trains reinforcement and imitation learning agents simultaneously using curriculum learning approaches guided by image data to perform all tasks of the incision phase of cataract surgery. By integrating the surgeon’s actions and preferences into the training process, our approach enables the robot to implicitly learn and adapt to the individual surgeon’s unique techniques through surgeon-in-the-loop demonstrations. This results in a more intuitive and personalized surgical experience for the surgeon while ensuring consistent performance for the autonomous robotic apprentice. We define and evaluate the effectiveness of our approach in a simulated environment using our proposed metrics and highlight the trade-off between a generic agent and a surgeon-centered adapted agent. Finally, our approach has the potential to extend to other ophthalmic and microsurgical procedures, opening the door to a new generation of surgeon-in-the-loop autonomous surgical robots. We provide an open-source simulation framework for future development and reproducibility at https://github.com/amrgomaaelhady/CataractAdaptSurgRobot.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google