USPilot: An Embodied Robotic Assistant Ultrasound System with Large Language Model Enhanced Graph Planner

要約

大規模な言語モデル（LLMS）の時代では、具体化された人工知能は、ロボット操作タスクの変革的な機会を提供します。
広く使用されており、費用対効果の高い医療診断手順である超音波イメージングは​​、プロの超音波検査学者の世界的不足により課題に直面しています。
この問題に対処するために、自律的な超音波取得を可能にするためにLLMベースのフレームワークを搭載した具体化されたロボットアシスタント超音波システムであるUspilotを提案します。
Uspilotは、仮想ソノグラファーとして機能するように設計されており、患者の超音波関連クエリに対応し、ユーザーの意図に基づいて超音波スキャンを実行できます。
LLMを微調整することにより、Uspilotは超音波固有の質問とタスクを深く理解しています。
さらに、UspilotにはLLM強化グラフニューラルネットワーク（GNN）が組み込まれており、超音波ロボットAPIを管理し、タスクプランナーとして機能します。
実験結果は、LLM強化GNNがパブリックデータセットのタスク計画において前例のない精度を達成することを示しています。
さらに、このシステムは、超音波手順を自律的に理解および実行することにおいて重要な可能性を示しています。
これらの進歩により、自律的で潜在的に無人のロボット超音波システムの達成に近づき、医療イメージングの重要なリソースギャップに対処します。

要約(オリジナル)

In the era of Large Language Models (LLMs), embodied artificial intelligence presents transformative opportunities for robotic manipulation tasks. Ultrasound imaging, a widely used and cost-effective medical diagnostic procedure, faces challenges due to the global shortage of professional sonographers. To address this issue, we propose USPilot, an embodied robotic assistant ultrasound system powered by an LLM-based framework to enable autonomous ultrasound acquisition. USPilot is designed to function as a virtual sonographer, capable of responding to patients’ ultrasound-related queries and performing ultrasound scans based on user intent. By fine-tuning the LLM, USPilot demonstrates a deep understanding of ultrasound-specific questions and tasks. Furthermore, USPilot incorporates an LLM-enhanced Graph Neural Network (GNN) to manage ultrasound robotic APIs and serve as a task planner. Experimental results show that the LLM-enhanced GNN achieves unprecedented accuracy in task planning on public datasets. Additionally, the system demonstrates significant potential in autonomously understanding and executing ultrasound procedures. These advancements bring us closer to achieving autonomous and potentially unmanned robotic ultrasound systems, addressing critical resource gaps in medical imaging.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google