Learning Autonomous Surgical Irrigation and Suction with the da Vinci Research Kit Using Reinforcement Learning

要約

洗浄吸引プロセスは、低侵襲手術 (MIS) で手術野をすすいで清掃するための一般的な手順です。
このプロセスでは、外科医はまず液体、通常は生理食塩水を洗浄現場に注入して汚染物質をすすぎ、希釈し、次に液体を手術野から吸引します。
最近の進歩により、外科手術のサブタスクを自動化するための強化学習 (RL) の適用において有望な結果が示されていますが、流体関連タスクの自動化を検討した研究はほとんどありません。
この研究では、洗浄と吸引手順の両方のステップの自動化を検討し、2 人の視覚ベースの RL エージェントを訓練して、自律的に洗浄と吸引を完了します。
これを達成するために、模擬手術ロボット学習環境を作成し、エージェントを訓練するためのプラットフォームが開発され、視覚的にもっともらしい流体レンダリング機能を備えた灌注と吸引用の 2 つの模擬学習環境が構築されています。
ドメイン ランダム化 (DR) や慎重に設計された報酬関数などの技術を使用して、2 人のエージェントがシミュレーターでトレーニングされ、現実世界に転送されます。
両方のエージェントの個別の評価は、現実世界で満足のいく結果を示しています。
初期量は約 5 グラムの汚染物質でしたが、手動吸引後に洗浄剤は最終的に平均 2.21 グラムの残留量に達しました。
比較として、人間による完全な手動操作では、1.90 グラムが残ります。
吸引剤は、容器内の初期液体が 20 グラムおよび 30 グラムを超える状態で、2 つの試行グループ全体で 2.64 グラムおよび 2.24 グラムの液体残存を達成しました。
完全自律型の灌漑吸引試験では、容器内の汚染物質が約 5 グラムから平均 2.42 グラムに減少しますが、吸引されなかった残留液体により残留総重量 (4.40) が増加します。
プロジェクトの詳細については、https://tbs-ualberta.github.io/CRESSim/ をご覧ください。

要約(オリジナル)

The irrigation-suction process is a common procedure to rinse and clean up the surgical field in minimally invasive surgery (MIS). In this process, surgeons first irrigate liquid, typically saline, into the surgical scene for rinsing and diluting the contaminant, and then suction the liquid out of the surgical field. While recent advances have shown promising results in the application of reinforcement learning (RL) for automating surgical subtasks, fewer studies have explored the automation of fluid-related tasks. In this work, we explore the automation of both steps in the irrigation-suction procedure and train two vision-based RL agents to complete irrigation and suction autonomously. To achieve this, a platform is developed for creating simulated surgical robot learning environments and for training agents, and two simulated learning environments are built for irrigation and suction with visually plausible fluid rendering capabilities. With techniques such as domain randomization (DR) and carefully designed reward functions, two agents are trained in the simulator and transferred to the real world. Individual evaluations of both agents show satisfactory real-world results. With an initial amount of around 5 grams of contaminants, the irrigation agent ultimately achieved an average of 2.21 grams remaining after a manual suction. As a comparison, fully manual operation by a human results in 1.90 grams remaining. The suction agent achieved 2.64 and 2.24 grams of liquid remaining across two trial groups with more than 20 and 30 grams of initial liquid in the container. Fully autonomous irrigation-suction trials reduce the contaminant in the container from around 5 grams to an average of 2.42 grams, although yielding a higher total weight remaining (4.40) due to residual liquid not suctioned. Further information about the project is available at https://tbs-ualberta.github.io/CRESSim/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google