Enhancing Surgical Robots with Embodied Intelligence for Autonomous Ultrasound Scanning

要約

超音波ロボットは、医療診断や病気の早期スクリーニングにますます使用されています。
しかし、現在の超音波ロボットには人間の意図や指示を理解する知能が欠けており、自律的な超音波スキャンが妨げられています。
この問題を解決するために、我々は、超音波ロボットに大規模言語モデル（LLM）とドメイン知識を装備し、それによって超音波ロボットの効率を向上させる、新しい超音波身体化知能システムを提案します。
具体的には、まず超音波操作知識データベースを設計して、超音波スキャンの専門知識を LLM に追加し、LLM が正確な動作計画を実行できるようにします。
さらに、\textit{think-observe-execute} プロンプトエンジニアリングに基づいて動的超音波スキャン戦略を考案し、LLM がスキャン手順中に動作計画戦略を動的に調整できるようにします。
広範な実験により、当社のシステムが口頭コマンドによる超音波スキャンの効率と品質を大幅に向上させることが実証されました。
自律型医療スキャン技術のこの進歩は、非侵襲的診断と合理化された医療ワークフローに貢献します。

要約(オリジナル)

Ultrasound robots are increasingly used in medical diagnostics and early disease screening. However, current ultrasound robots lack the intelligence to understand human intentions and instructions, hindering autonomous ultrasound scanning. To solve this problem, we propose a novel Ultrasound Embodied Intelligence system that equips ultrasound robots with the large language model (LLM) and domain knowledge, thereby improving the efficiency of ultrasound robots. Specifically, we first design an ultrasound operation knowledge database to add expertise in ultrasound scanning to the LLM, enabling the LLM to perform precise motion planning. Furthermore, we devise a dynamic ultrasound scanning strategy based on a \textit{think-observe-execute} prompt engineering, allowing LLMs to dynamically adjust motion planning strategies during the scanning procedures. Extensive experiments demonstrate that our system significantly improves ultrasound scan efficiency and quality from verbal commands. This advancement in autonomous medical scanning technology contributes to non-invasive diagnostics and streamlined medical workflows.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google