End-to-End Deep Visual Control for Mastering Needle-Picking Skills With World Models and Behavior Cloning

要約

針のピッキングは、針の形状が小さく細いという特徴、針の形状とサイズのバリエーション、およびミリレベルの制御の要求により、ロボット支援手術における困難な外科的作業です。
以前の研究は、以前の針 (幾何学的モデルなど) に大きく依存しており、目に見えない針のバリエーションに合わせてスケーリングするのは困難です。
さらに、視覚的な追跡エラーは、彼らのアプローチを使用してオンラインで最小限に抑えることはできません。
このホワイト ペーパーでは、視覚コンポーネントと制御コンポーネントの両方をオンラインで一緒に学習できる、ニードル ピッキング タスク用のエンド ツー エンドのディープ ビジュアル ラーニング フレームワークを提案します。
私たちが提案するフレームワークは、最先端の強化学習フレームワークであるドリーマーを行動クローニング (BC) と統合します。
さらに、2 つの新しい技術、すなわち仮想クラッチとダイナミック スポットライト アダプテーション (DSA) が、ニードル ピッキング タスク用のエンド ツー エンドのビジュアル コントローラーに導入されています。
シミュレーションで大規模な実験を行い、この方法の個々のコンポーネントのパフォーマンス、ロバスト性、バリエーションの適応、および有効性を評価しました。
8,000 のデモンストレーション タイムステップと 140,000 のオンライン ポリシー タイムステップでトレーニングされた当社のアプローチは、80% という驚くべき成功率を達成できます。
さらに、私たちの方法は、針の変動と画像の乱れを伴う目に見えない動的シナリオへの一般化の優位性を効果的に実証し、その堅牢性と汎用性を強調しました。
コードとビデオは https://sites.google.com/view/dreamerbc で入手できます。

要約(オリジナル)

Needle picking is a challenging surgical task in robot-assisted surgery due to the characteristics of small slender shapes of needles, needles’ variations in shapes and sizes, and demands for millimeter-level control. Prior works, heavily relying on the prior of needles (e.g., geometric models), are hard to scale to unseen needles’ variations. In addition, visual tracking errors can not be minimized online using their approaches. In this paper, we propose an end-to-end deep visual learning framework for needle-picking tasks where both visual and control components can be learned jointly online. Our proposed framework integrates a state-of-the-art reinforcement learning framework, Dreamer, with behavior cloning (BC). Besides, two novel techniques, i.e., Virtual Clutch and Dynamic Spotlight Adaptation (DSA), are introduced to our end-to-end visual controller for needle-picking tasks. We conducted extensive experiments in simulation to evaluate the performance, robustness, variation adaptation, and effectiveness of individual components of our method. Our approach, trained by 8k demonstration timesteps and 140k online policy timesteps, can achieve a remarkable success rate of 80%, a new state-of-the-art with end-to-end vision-based surgical robot learning for delicate operations tasks. Furthermore, our method effectively demonstrated its superiority in generalization to unseen dynamic scenarios with needle variations and image disturbance, highlighting its robustness and versatility. Codes and videos are available at https://sites.google.com/view/dreamerbc.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google