Embedded Image-to-Image Translation for Efficient Sim-to-Real Transfer in Learning-based Robot-Assisted Soft Manipulation

要約

シミュレーションにおけるロボット学習の最近の進歩は、複雑な操作スキルの学習を加速するという目覚ましい成果を示しています。
しかし、シミュレーションと現実の間の不一致によって引き起こされるシミュレーションと現実のギャップは、自律手術システムの効果的な展開にとって重大な課題を引き起こします。
私たちは、画像翻訳モデルを利用してドメインの不一致を軽減し、シミュレートされた環境で効率的なロボットスキル学習を促進する新しいアプローチを提案します。
私たちの方法には、対比のない画像間の変換の使用が含まれており、これらの変換された画像から埋め込み表現を取得できるようになります。
その後、これらの埋め込みは、外科操作モデルのトレーニングの効率を向上させるために使用されます。
私たちはこのアプローチのパフォーマンスを評価するために実験を実施し、従来の方法と比較してタスクの成功率が大幅に向上し、タスクの完了に必要な手順が削減されることを実証しました。
結果は、私たちが提案したシステムがシミュレーションと現実のギャップを効果的に橋渡しし、低侵襲手術における手術ロボットの自律性を向上させるための堅牢なフレームワークを提供することを示しています。

要約(オリジナル)

Recent advances in robotic learning in simulation have shown impressive results in accelerating learning complex manipulation skills. However, the sim-to-real gap, caused by discrepancies between simulation and reality, poses significant challenges for the effective deployment of autonomous surgical systems. We propose a novel approach utilizing image translation models to mitigate domain mismatches and facilitate efficient robot skill learning in a simulated environment. Our method involves the use of contrastive unpaired Image-to-image translation, allowing for the acquisition of embedded representations from these transformed images. Subsequently, these embeddings are used to improve the efficiency of training surgical manipulation models. We conducted experiments to evaluate the performance of our approach, demonstrating that it significantly enhances task success rates and reduces the steps required for task completion compared to traditional methods. The results indicate that our proposed system effectively bridges the sim-to-real gap, providing a robust framework for advancing the autonomy of surgical robots in minimally invasive procedures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google