GigaPevt: Multimodal Medical Assistant

要約

インテリジェントで効率的な医療アシスタントを構築することは、依然として AI の難しい問題です。
主な制限は、データモダリティの不足に起因し、患者の包括的な認識が低下します。
このデモ ペーパーでは、大規模な言語モデルと特殊な医療モデルの対話機能を組み合わせた初のマルチモーダル医療アシスタントである GigaPevt を紹介します。
このようなアプローチは、対話の品質と測定基準のパフォーマンスにすぐに利点をもたらし、質問応答タスクの精度が 1.18% 向上しました。

要約(オリジナル)

Building an intelligent and efficient medical assistant is still a challenging AI problem. The major limitation comes from the data modality scarceness, which reduces comprehensive patient perception. This demo paper presents the GigaPevt, the first multimodal medical assistant that combines the dialog capabilities of large language models with specialized medical models. Such an approach shows immediate advantages in dialog quality and metric performance, with a 1.18% accuracy improvement in the question-answering task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google