Sim-to-Real Surgical Robot Learning and Autonomous Planning for Internal Tissue Points Manipulation using Reinforcement Learning

要約

間接同時位置決め (ISP) は、内部組織の点を境界点の操作を通じて間接的に所望の位置に配置するもので、ロボット手術で頻繁に実行されるサブタスクの一種です。
複雑な組織力学のため困難ではありますが、タスクを自動化することで外科医の作業負荷を軽減できる可能性があります。
この論文では、実際の環境と対話せずにタスクを自動化する方法を学習し、局所的な組織の変形を最小限に抑える把握ポイントを見つける術前計画を行うための、シミュレーションからリアルへのフレームワークを紹介します。
制御ポリシーは、FEM ベースのシミュレーション環境で深層強化学習 (DRL) を使用して学習され、現実世界の状況に転送されます。
シミュレータではベイジアン最適化(BO)を用いた学習済みポリシーを利用して点の把握を計画します。
一貫性のないシミュレーション パフォーマンスは、問題を状態拡張マルコフ決定プロセス (MDP) として定式化することで解決されます。
実験結果は、学習されたポリシーが内部組織点を正確に配置し、計画された把握点により試行間で小さな組織変形が生じることを示しています。
提案された学習および計画スキームは、手術における内部組織点の操作を自動化することができ、複雑な手術シナリオに一般化できる可能性があります。

要約(オリジナル)

Indirect simultaneous positioning (ISP), where internal tissue points are placed at desired locations indirectly through the manipulation of boundary points, is a type of subtask frequently performed in robotic surgeries. Although challenging due to complex tissue dynamics, automating the task can potentially reduce the workload of surgeons. This paper presents a sim-to-real framework for learning to automate the task without interacting with a real environment, and for planning preoperatively to find the grasping points that minimize local tissue deformation. A control policy is learned using deep reinforcement learning (DRL) in the FEM-based simulation environment and transferred to real-world situation. Grasping points are planned in the simulator by utilizing the trained policy using Bayesian optimization (BO). Inconsistent simulation performance is overcome by formulating the problem as a state augmented Markov decision process (MDP). Experimental results show that the learned policy places the internal tissue points accurately, and that the planned grasping points yield small tissue deformation among the trials. The proposed learning and planning scheme is able to automate internal tissue point manipulation in surgeries and has the potential to be generalized to complex surgical scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google