LapGym — An Open Source Framework for Reinforcement Learning in Robot-Assisted Laparoscopic Surgery

要約

強化学習 (RL) の最近の進歩により、認知支援と自動化をロボット支援腹腔鏡手術 (RALS) に導入する可能性が高まっています。
ただし、アルゴリズムと方法の進歩は、RALS に関連するスキルを表す標準化された学習環境の可用性に依存します。
LapGym は RALS 用の RL 環境を構築するためのフレームワークであり、外科的タスクによってもたらされる課題をモデル化し、sofa_env は 12 の環境の多様なスイートです。
これらの環境は、手術のトレーニングによって動機付けられ、空間推論、変形可能なオブジェクトの操作と把握、解剖、スレッド操作の 4 つのトラックに編成されています。
各環境は、難易度の増加に合わせて高度にパラメーター化できるため、新しいアルゴリズムのパフォーマンスの上限が高くなります。
Proximal Policy Optimization (PPO) を使用してモデルフリー RL アルゴリズムのベースラインを確立し、いくつかの環境パラメーターがタスクの難易度に及ぼす影響を調査します。
最後に、多くの環境とパラメーター構成が RL 研究でよく知られている未解決の問題を反映していることを示し、研究者が外科的コンテキストでこれらの基本的な問題を調査し続けることを可能にします。
私たちは、RALS の RL をさらに開発するための挑戦的で標準的な環境スイートを提供することを目指しており、最終的に認知手術ロボットの可能性を最大限に実現するのに役立ちます。
LapGym は GitHub (https://github.com/ScheiklP/lap_gym) を通じて公開されています。

要約(オリジナル)

Recent advances in reinforcement learning (RL) have increased the promise of introducing cognitive assistance and automation to robot-assisted laparoscopic surgery (RALS). However, progress in algorithms and methods depends on the availability of standardized learning environments that represent skills relevant to RALS. We present LapGym, a framework for building RL environments for RALS that models the challenges posed by surgical tasks, and sofa_env, a diverse suite of 12 environments. Motivated by surgical training, these environments are organized into 4 tracks: Spatial Reasoning, Deformable Object Manipulation & Grasping, Dissection, and Thread Manipulation. Each environment is highly parametrizable for increasing difficulty, resulting in a high performance ceiling for new algorithms. We use Proximal Policy Optimization (PPO) to establish a baseline for model-free RL algorithms, investigating the effect of several environment parameters on task difficulty. Finally, we show that many environments and parameter configurations reflect well-known, open problems in RL research, allowing researchers to continue exploring these fundamental problems in a surgical context. We aim to provide a challenging, standard environment suite for further development of RL for RALS, ultimately helping to realize the full potential of cognitive surgical robotics. LapGym is publicly accessible through GitHub (https://github.com/ScheiklP/lap_gym).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google