Stone Needle: A General Multimodal Large-scale Model Framework towards Healthcare

要約

ヘルスケアでは、マルチモーダルなデータが普及しており、診断決定の前に医療画像や臨床レポートなどを包括的に分析する必要があります。しかし、現在の大規模な人工知能モデルは主に単一モーダルの認知能力に焦点を当てており、複数のモダリティの統合は無視されています。
。
したがって、私たちは、医療アプリケーション向けに明示的に調整された一般的なマルチモーダル大規模モデル フレームワークである Stone Needle を提案します。
Stone Needle は、包括的な医療マルチモーダル モデル基盤として機能し、テキスト、画像、ビデオ、オーディオなどのさまざまなモダリティを統合して、単一モーダル システムの制限を超えます。
インテント分析、医療基礎モデル、プロンプト マネージャー、医療言語モジュールのフレームワーク コンポーネントを通じて、当社のアーキテクチャは複数回の対話でマルチモーダル インタラクションを実行できます。
私たちの手法は一般的なマルチモーダル大規模モデル フレームワークであり、多様なモダリティを統合し、特定のタスクに合わせて調整することができます。
実験結果は、シングルモーダル システムと比較して、私たちの方法の優れたパフォーマンスを示しています。
Stone Needle でのさまざまなモダリティの融合と複雑な医療情報の処理機能は、正確な診断、治療の推奨、患者ケアに役立ちます。

要約(オリジナル)

In healthcare, multimodal data is prevalent and requires to be comprehensively analyzed before diagnostic decisions, including medical images, clinical reports, etc. However, current large-scale artificial intelligence models predominantly focus on single-modal cognitive abilities and neglect the integration of multiple modalities. Therefore, we propose Stone Needle, a general multimodal large-scale model framework tailored explicitly for healthcare applications. Stone Needle serves as a comprehensive medical multimodal model foundation, integrating various modalities such as text, images, videos, and audio to surpass the limitations of single-modal systems. Through the framework components of intent analysis, medical foundation models, prompt manager, and medical language module, our architecture can perform multi-modal interaction in multiple rounds of dialogue. Our method is a general multimodal large-scale model framework, integrating diverse modalities and allowing us to tailor for specific tasks. The experimental results demonstrate the superior performance of our method compared to single-modal systems. The fusion of different modalities and the ability to process complex medical information in Stone Needle benefits accurate diagnosis, treatment recommendations, and patient care.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google