要約
ヘルスケアでは、マルチモーダルなデータが普及しており、診断決定の前に医療画像や臨床レポートなどを包括的に分析する必要があります。しかし、現在の大規模な人工知能モデルは主に単一モーダルの認知能力に焦点を当てており、複数のモダリティの統合は無視されています。
。
したがって、私たちは、医療アプリケーション向けに明示的に調整された一般的なマルチモーダル大規模モデル フレームワークである Stone Needle を提案します。
Stone Needle は、包括的な医療マルチモーダル モデル基盤として機能し、テキスト、画像、ビデオ、オーディオなどのさまざまなモダリティを統合して、単一モーダル システムの制限を超えます。
インテント分析、医療基礎モデル、プロンプト マネージャー、医療言語モジュールのフレームワーク コンポーネントを通じて、当社のアーキテクチャは複数回の対話でマルチモーダル インタラクションを実行できます。
私たちの手法は一般的なマルチモーダル大規模モデル フレームワークであり、多様なモダリティを統合し、特定のタスクに合わせて調整することができます。
実験結果は、シングルモーダル システムと比較して、私たちの方法の優れたパフォーマンスを示しています。
Stone Needle でのさまざまなモダリティの融合と複雑な医療情報の処理機能は、正確な診断、治療の推奨、患者ケアに役立ちます。
要約(オリジナル)
In healthcare, multimodal data is prevalent and requires to be comprehensively analyzed before diagnostic decisions, including medical images, clinical reports, etc. However, current large-scale artificial intelligence models predominantly focus on single-modal cognitive abilities and neglect the integration of multiple modalities. Therefore, we propose Stone Needle, a general multimodal large-scale model framework tailored explicitly for healthcare applications. Stone Needle serves as a comprehensive medical multimodal model foundation, integrating various modalities such as text, images, videos, and audio to surpass the limitations of single-modal systems. Through the framework components of intent analysis, medical foundation models, prompt manager, and medical language module, our architecture can perform multi-modal interaction in multiple rounds of dialogue. Our method is a general multimodal large-scale model framework, integrating diverse modalities and allowing us to tailor for specific tasks. The experimental results demonstrate the superior performance of our method compared to single-modal systems. The fusion of different modalities and the ability to process complex medical information in Stone Needle benefits accurate diagnosis, treatment recommendations, and patient care.
arxiv情報
著者 | Weihua Liu,Yong Zuo |
発行日 | 2023-06-28 09:04:56+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google