SuFIA-BC: Generating High Quality Demonstration Data for Visuomotor Policy Learning in Surgical Subtasks

要約

行動のクローン化は、器用な操作スキルの学習を促進しますが、外科的環境の複雑さ、患者データを取得することの難しさと費用、およびロボットのキャリブレーションエラーは、外科的ロボット学習のためのユニークな課題をもたらします。
私たちは、外科的自律性の基本的なタスクを解決するために高品質の合成データを生成するために設計された包括的なシミュレーターに統合された、光リアリスティックなヒトの解剖学的臓器を備えた強化された手術デジタルツインを提供します。
Sufia-BC：視覚的行動のクローニングポリシーを、外科的ファーストインタラクティブ自律アシスタントのためのポリシーをクローニングします。
単一の内視鏡カメラビューから抽出されたマルチビューカメラや3D視覚表現などの視覚観測スペースを調査します。
体系的な評価を通じて、この作業で導入された多様な光エアリスティックな外科的タスクのセットにより、外科的環境によってもたらされるユニークな課題の前向き行動クローニングモデルの包括的な評価が可能になることがわかります。
私たちは、現在の最先端の行動クローニング技術が、根本的な認識や制御アーキテクチャに関係なく、この作業で評価された接触豊富で複雑なタスクを解決するのに苦労していることを観察します。
これらの調査結果は、知覚パイプラインと制御アーキテクチャをカスタマイズすることの重要性と、外科的タスクの特定の要求を満たす大規模な合成データセットのキュレートを強調しています。
プロジェクトのウェブサイト：https：//orbit-surgical.github.io/sufia-bc/

要約(オリジナル)

Behavior cloning facilitates the learning of dexterous manipulation skills, yet the complexity of surgical environments, the difficulty and expense of obtaining patient data, and robot calibration errors present unique challenges for surgical robot learning. We provide an enhanced surgical digital twin with photorealistic human anatomical organs, integrated into a comprehensive simulator designed to generate high-quality synthetic data to solve fundamental tasks in surgical autonomy. We present SuFIA-BC: visual Behavior Cloning policies for Surgical First Interactive Autonomy Assistants. We investigate visual observation spaces including multi-view cameras and 3D visual representations extracted from a single endoscopic camera view. Through systematic evaluation, we find that the diverse set of photorealistic surgical tasks introduced in this work enables a comprehensive evaluation of prospective behavior cloning models for the unique challenges posed by surgical environments. We observe that current state-of-the-art behavior cloning techniques struggle to solve the contact-rich and complex tasks evaluated in this work, regardless of their underlying perception or control architectures. These findings highlight the importance of customizing perception pipelines and control architectures, as well as curating larger-scale synthetic datasets that meet the specific demands of surgical tasks. Project website: https://orbit-surgical.github.io/sufia-bc/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google