Transforming Surgical Interventions with Embodied Intelligence for Ultrasound Robotics

要約

超音波検査は非侵襲的診断方法に革命をもたらし、さまざまな医療分野にわたって患者の転帰を大幅に向上させました。
超音波技術は進歩しているにもかかわらず、自動スキャンのためのロボット システムとの統合には、コマンドの理解や動的実行機能の制限などの課題が存在します。
これらの課題に対処するために、この論文では、超音波ロボットと大規模言語モデル (LLM) およびドメイン固有の知識拡張を相乗的に組み合わせて、超音波ロボットの知能と運用効率を強化する、新しい超音波身体化知能システムを紹介します。
私たちのアプローチでは 2 つの戦略が採用されています。まず、LLM と超音波ロボットを統合して、API や操作マニュアルを含む超音波領域の知識を包括的に理解することで、医師の口頭指示を解釈して正確な動作計画を立てます。
2 番目に、動的な実行メカニズムを組み込んで、患者の動きや手順上のエラーに基づいてスキャン計画をリアルタイムで調整できるようにします。
当社は、アブレーション研究やさまざまなモデル間の比較を含む広範な実験を通じてシステムの有効性を実証し、口頭コマンドによる医療処置の実行における大幅な改善を示しています。
私たちの調査結果は、提案されたシステムが超音波スキャンの効率と品質を向上させ、自律型医療スキャン技術のさらなる進歩への道を切り開き、非侵襲的診断を変革し、医療ワークフローを合理化する可能性があることを示唆しています。

要約(オリジナル)

Ultrasonography has revolutionized non-invasive diagnostic methodologies, significantly enhancing patient outcomes across various medical domains. Despite its advancements, integrating ultrasound technology with robotic systems for automated scans presents challenges, including limited command understanding and dynamic execution capabilities. To address these challenges, this paper introduces a novel Ultrasound Embodied Intelligence system that synergistically combines ultrasound robots with large language models (LLMs) and domain-specific knowledge augmentation, enhancing ultrasound robots’ intelligence and operational efficiency. Our approach employs a dual strategy: firstly, integrating LLMs with ultrasound robots to interpret doctors’ verbal instructions into precise motion planning through a comprehensive understanding of ultrasound domain knowledge, including APIs and operational manuals; secondly, incorporating a dynamic execution mechanism, allowing for real-time adjustments to scanning plans based on patient movements or procedural errors. We demonstrate the effectiveness of our system through extensive experiments, including ablation studies and comparisons across various models, showcasing significant improvements in executing medical procedures from verbal commands. Our findings suggest that the proposed system improves the efficiency and quality of ultrasound scans and paves the way for further advancements in autonomous medical scanning technologies, with the potential to transform non-invasive diagnostics and streamline medical workflows.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google