A Comprehensive Survey of Large Language Models and Multimodal Large Language Models in Medicine

要約

ChatGPT と GPT-4 のリリース以来、大規模言語モデル (LLM) とマルチモーダル大規模言語モデル (MLLM) は、理解、推論、生成における強力かつ一般的な機能により大きな注目を集めており、それによって統合のための新しいパラダイムが提供されています。
人工知能と医学の融合。
この調査では、LLM と MLLM の開発背景と原理を包括的に概観するとともに、医療におけるそれらの応用シナリオ、課題、将来の方向性を探ります。
具体的には、この調査はパラダイム シフトに焦点を当て、従来のモデルから LLM および MLLM への進化を追跡し、詳細な基礎知識を提供するためにモデル構造を要約することから始まります。
その後、調査では、LLM と MLLM の構築と評価から、明確なロジックでの使用までのプロセス全体が詳しく説明されます。
これに続いて、ヘルスケアにおける LLM と MLLM の重要な価値を強調するために、ヘルスケアにおける 6 つの有望なアプリケーションを調査し、要約します。
最後に、この調査では医療 LLM と MLLM が直面する課題について議論し、その後の人工知能と医療の統合に向けた実現可能なアプローチと方向性を提案しています。
したがって、この調査は、LLM と MLLM の背景、原理、臨床応用の観点から、研究者に価値のある包括的な参考ガイドを提供することを目的としています。

要約(オリジナル)

Since the release of ChatGPT and GPT-4, large language models (LLMs) and multimodal large language models (MLLMs) have garnered significant attention due to their powerful and general capabilities in understanding, reasoning, and generation, thereby offering new paradigms for the integration of artificial intelligence with medicine. This survey comprehensively overviews the development background and principles of LLMs and MLLMs, as well as explores their application scenarios, challenges, and future directions in medicine. Specifically, this survey begins by focusing on the paradigm shift, tracing the evolution from traditional models to LLMs and MLLMs, summarizing the model structures to provide detailed foundational knowledge. Subsequently, the survey details the entire process from constructing and evaluating to using LLMs and MLLMs with a clear logic. Following this, to emphasize the significant value of LLMs and MLLMs in healthcare, we survey and summarize 6 promising applications in healthcare. Finally, the survey discusses the challenges faced by medical LLMs and MLLMs and proposes a feasible approach and direction for the subsequent integration of artificial intelligence with medicine. Thus, this survey aims to provide researchers with a valuable and comprehensive reference guide from the perspectives of the background, principles, and clinical applications of LLMs and MLLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google