Fine-Tuning Medical Language Models for Enhanced Long-Contextual Understanding and Domain Expertise

要約

大規模言語モデル (LLM) は、さまざまな専門分野で広く適用されています。
ドメイン固有の質問と回答のデータセットを使用してモデルを微調整することにより、これらのモデルの専門的なドメイン知識と Q&A 能力が大幅に向上しました。たとえば、医師と患者の Q&A データの微調整を使用する医療専門家 LLM は、
驚異的な病気診断能力。
しかし、特定の領域の知識が向上したにもかかわらず、特に同様のパラメータを持つ一般的な言語モデルと比較して、長い文脈の理解における医療 LLM のパフォーマンスが大幅に低下していることがわかりました。
この研究の目的は、医療 LLM における長いコンテキストを理解する際のパフォーマンスの低下現象を調査することです。
私たちは、すべてのモデルに対してオープンブックの専門知識試験を実施し、長い文脈を読む能力を評価する一連の実験を設計しました。
微調整のプロセスで一般データと医療データの割合と量を調整することで、プロフェッショナル モデルを最適化し、長期コンテキストのパフォーマンスと特定分野の知識のバランスを達成するための最適なデータ構成を決定できます。

要約(オリジナル)

Large Language Models (LLMs) have been widely applied in various professional fields. By fine-tuning the models using domain specific question and answer datasets, the professional domain knowledge and Q\&A abilities of these models have significantly improved, for example, medical professional LLMs that use fine-tuning of doctor-patient Q\&A data exhibit extraordinary disease diagnostic abilities. However, we observed that despite improvements in specific domain knowledge, the performance of medical LLM in long-context understanding has significantly declined, especially compared to general language models with similar parameters. The purpose of this study is to investigate the phenomenon of reduced performance in understanding long-context in medical LLM. We designed a series of experiments to conduct open-book professional knowledge exams on all models to evaluate their ability to read long-context. By adjusting the proportion and quantity of general data and medical data in the process of fine-tuning, we can determine the best data composition to optimize the professional model and achieve a balance between long-context performance and specific domain knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google