SuFIA: Language-Guided Augmented Dexterity for Robotic Surgical Assistants

要約

この研究では、ロボット手術助手のための自然言語ガイドによる器用性の強化のための最初のフレームワークである SuFIA を紹介します。
SuFIA は、大規模言語モデル (LLM) の強力な推論機能と認識モジュールを組み込んで、外科手術のサブタスク実行のためのロボットの高レベルの計画と低レベルの制御を実装します。
これにより、コンテキスト内の例やモーション プリミティブを使用せずに、外科手術の器用さを強化するための学習不要のアプローチが可能になります。
SuFIA は、情報が不十分な場合に外科医に制御を戻すことでヒューマン・イン・ザ・ループのパラダイムを使用し、ミッションクリティカルなタスクでの予期せぬエラーを軽減します。
私たちは、シミュレーション環境での 4 つの外科サブタスクと、実験室の物理的な外科ロボット プラットフォームでの 2 つのサブタスクで SuFIA を評価し、困難な物理的および作業空間条件下での監視付き自律操作を通じて一般的な外科サブタスクを実行する能力を実証します。
プロジェクト Web サイト: orbit-surgical.github.io/sufia

要約(オリジナル)

In this work, we present SuFIA, the first framework for natural language-guided augmented dexterity for robotic surgical assistants. SuFIA incorporates the strong reasoning capabilities of large language models (LLMs) with perception modules to implement high-level planning and low-level control of a robot for surgical sub-task execution. This enables a learning-free approach to surgical augmented dexterity without any in-context examples or motion primitives. SuFIA uses a human-in-the-loop paradigm by restoring control to the surgeon in the case of insufficient information, mitigating unexpected errors for mission-critical tasks. We evaluate SuFIA on four surgical sub-tasks in a simulation environment and two sub-tasks on a physical surgical robotic platform in the lab, demonstrating its ability to perform common surgical sub-tasks through supervised autonomous operation under challenging physical and workspace conditions. Project website: orbit-surgical.github.io/sufia

arxiv情報

提供元, 利用サービス

arxiv.jp, Google