JMLR: Joint Medical LLM and Retrieval Training for Enhancing Reasoning and Professional Question Answering Capability

要約

医療データの爆発的な増大と人工知能技術の急速な発展により、精密医療は医療サービスの質と効率を向上させる鍵として浮上してきた。このような状況において、大規模言語モデル（Large Language Models: LLM）は、医療知識獲得システムや質問応答システムにおいて、ますます重要な役割を果たしている。医療分野におけるこれらのシステムの性能をさらに向上させるために、我々は、微調整段階において情報検索（IR）システムとLLMを共同で学習させる革新的な手法を導入する。医療LLMと検索の共同訓練（JMLR）と呼ぶこのアプローチは、医療質問応答タスクを処理する際に従来のモデルが直面する課題を克服するために設計されている。同期訓練メカニズムを採用することにより、JMLRは計算資源の要求を低減し、推論と質問回答のために医学知識を活用するモデルの能力を向上させる。我々の実験結果は、JMLR-13B(Amboosで81.2%、MedQAで61.3%)が、従来の事前学習とファインチューニングを用いたモデルMeditron-70B(AMBOSSで76.4%、MedQAで60.3%)を上回ることを示している。同じ7Bスケールのモデルでは、JMLR-7B（Amboosで68.7%、MedQAで51.7%）が他の公開モデル（Meditron-7B：50.1%、47.9%）を大きく上回り、コスト（我々の学習時間：37時間、従来手法：144時間）、効率、医療質問応答タスクにおける有効性の点で優れていることが証明された。この研究を通して、我々は、医療のための新しい効率的な知識強化ツールを提供し、精密な医療情報検索と質問応答システムにおけるIRとLLMトレーニングの統合の大きな可能性を実証した。

要約(オリジナル)

With the explosive growth of medical data and the rapid development of artificial intelligence technology, precision medicine has emerged as a key to enhancing the quality and efficiency of healthcare services. In this context, Large Language Models (LLMs) play an increasingly vital role in medical knowledge acquisition and question-answering systems. To further improve the performance of these systems in the medical domain, we introduce an innovative method that jointly trains an Information Retrieval (IR) system and an LLM during the fine-tuning phase. This approach, which we call Joint Medical LLM and Retrieval Training (JMLR), is designed to overcome the challenges faced by traditional models in handling medical question-answering tasks. By employing a synchronized training mechanism, JMLR reduces the demand for computational resources and enhances the model’s ability to leverage medical knowledge for reasoning and answering questions. Our experimental results demonstrate that JMLR-13B (81.2% on Amboos, 61.3% on MedQA) outperforms models using conventional pre-training and fine-tuning Meditron-70B (76.4% on AMBOSS, 60.3% on MedQA). For models of the same 7B scale, JMLR-7B(68.7% on Amboos, 51.7% on MedQA) significantly outperforms other public models (Meditron-7B: 50.1%, 47.9%), proving its superiority in terms of cost (our training time: 37 hours, traditional method: 144 hours), efficiency, and effectiveness in medical question-answering tasks. Through this work, we provide a new and efficient knowledge enhancement tool for healthcare, demonstrating the great potential of integrating IR and LLM training in precision medical information retrieval and question-answering systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL