Learning Autonomous Surgical Irrigation and Suction with the da Vinci Research Kit Using Reinforcement Learning

要約

灌流-吸引プロセスは、低侵襲手術（MIS）において術野をすすぎ、清潔にするための一般的な手順である。このプロセスでは、外科医はまず液体（典型的には生理食塩水）を術野に灌注し、汚染物質をすすいで希釈した後、液体を術野から吸引する。最近の進歩により、外科手術のサブタスクの自動化のための強化学習（RL）の適用において有望な結果が示されているが、液体に関連するタスクの自動化について検討した研究は少ない。本研究では、灌流と吸引の両手順の自動化を検討し、灌流と吸引を自律的に行う2つの視覚ベースのRLエージェントを訓練する。そのために、手術ロボットの学習環境をシミュレートし、エージェントを訓練するためのプラットフォームを開発し、灌流と吸引のための2つのシミュレートされた学習環境を構築する。領域ランダム化（DR）や注意深く設計された報酬関数などの技術により、2つのエージェントがシミュレータで訓練され、実世界に転送される。両エージェントの個々の評価は、満足のいく実世界での結果を示している。初期の汚染物質量が約5グラムの場合、灌漑エージェントは最終的に、手動吸引後に平均2.21グラムの残留を達成した。比較として、人間による完全な手動操作では、残量は1.90グラムとなる。吸引剤は、容器内の初期液量が20グラム以上と30グラム以上の2つの試験群で、2.64グラムと2.24グラムの残液を達成した。完全に自律的な灌漑吸引試験では、容器内の汚染物質が約5グラムから平均2.42グラムに減少したが、吸引されなかった残留液体があるため、総残留重量（4.40）は高くなった。このプロジェクトに関する詳細は、https://tbs-ualberta.github.io/CRESSim/。

要約(オリジナル)

The irrigation-suction process is a common procedure to rinse and clean up the surgical field in minimally invasive surgery (MIS). In this process, surgeons first irrigate liquid, typically saline, into the surgical scene for rinsing and diluting the contaminant, and then suction the liquid out of the surgical field. While recent advances have shown promising results in the application of reinforcement learning (RL) for automating surgical subtasks, fewer studies have explored the automation of fluid-related tasks. In this work, we explore the automation of both steps in the irrigation-suction procedure and train two vision-based RL agents to complete irrigation and suction autonomously. To achieve this, a platform is developed for creating simulated surgical robot learning environments and for training agents, and two simulated learning environments are built for irrigation and suction with visually plausible fluid rendering capabilities. With techniques such as domain randomization (DR) and carefully designed reward functions, two agents are trained in the simulator and transferred to the real world. Individual evaluations of both agents show satisfactory real-world results. With an initial amount of around 5 grams of contaminants, the irrigation agent ultimately achieved an average of 2.21 grams remaining after a manual suction. As a comparison, fully manual operation by a human results in 1.90 grams remaining. The suction agent achieved 2.64 and 2.24 grams of liquid remaining across two trial groups with more than 20 and 30 grams of initial liquid in the container. Fully autonomous irrigation-suction trials reduce the contaminant in the container from around 5 grams to an average of 2.42 grams, although yielding a higher total weight remaining (4.40) due to residual liquid not suctioned. Further information about the project is available at https://tbs-ualberta.github.io/CRESSim/.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL