Sim-To-Real Transfer for Visual Reinforcement Learning of Deformable Object Manipulation for Robot-Assisted Surgery

要約

自動化は、外科医のロボット介入を支援し、精神的な作業負荷を視覚運動制御から高レベルの意思決定に移す可能性を秘めています。
強化学習は、特に低コストで多くのサンプルを収集できるシミュレーション環境において、複雑な視覚運動ポリシーの学習において有望な結果を示しています。
中心的な課題は、現実世界に展開できるポリシーをシミュレーションで学習し、それによってシミュレーションと現実のギャップを克服することです。
この研究では、ピクセルレベルのドメイン適応に基づく画像ベースの強化学習パイプラインで視覚的なシミュレーションと現実のギャップを埋め、変形可能なオブジェクト操作における画像ベースのタスクにおけるその有効性を実証します。
正確な癌手術の臨床現場において組織圧排タスクが重要であるため、組織圧排タスクを選択します。
ドメイン変換された画像のシミュレーションでトレーニングした後、当社のポリシーでは、生の RGB 画像を使用して実際のロボット システムで 50% の成功率で組織の開創を実行するための再トレーニングは必要ありません。
さらに、当社のシミュレーションからリアルへの転送方法では、タスク自体を前提とせず、ペアになった画像を必要としません。
この研究は、外科分野における変形可能な物体のロボット操作のための視覚的シミュレーションから現実への変換の最初の成功した応用を紹介しており、これは認知手術ロボット工学の臨床応用に向けた注目すべき一歩を表している。

要約(オリジナル)

Automation holds the potential to assist surgeons in robotic interventions, shifting their mental work load from visuomotor control to high level decision making. Reinforcement learning has shown promising results in learning complex visuomotor policies, especially in simulation environments where many samples can be collected at low cost. A core challenge is learning policies in simulation that can be deployed in the real world, thereby overcoming the sim-to-real gap. In this work, we bridge the visual sim-to-real gap with an image-based reinforcement learning pipeline based on pixel-level domain adaptation and demonstrate its effectiveness on an image-based task in deformable object manipulation. We choose a tissue retraction task because of its importance in clinical reality of precise cancer surgery. After training in simulation on domain-translated images, our policy requires no retraining to perform tissue retraction with a 50% success rate on the real robotic system using raw RGB images. Furthermore, our sim-to-real transfer method makes no assumptions on the task itself and requires no paired images. This work introduces the first successful application of visual sim-to-real transfer for robotic manipulation of deformable objects in the surgical field, which represents a notable step towards the clinical translation of cognitive surgical robotics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google