JMedLoRA:Medical Domain Adaptation on Japanese Large Language Models using Instruction-tuning

要約

ChatGPTのような大規模言語モデル(LLM)によるインパクトの波が押し寄せる中、LLMの医療分野への適応が重要な研究フロンティアとして浮上している。主流のLLMは汎用的なアプリケーション向けに設計される傾向があるため、医療LLMをドメイン適応によって構築することは大きな挑戦です。いくつかのLLMの微調整には命令チューニングが用いられているが、ドメイン適応におけるその正確な役割は未知のままである。本論文では、LoRAに基づくインストラクションチューニングが、日本語の医療質問応答タスクのパフォーマンス向上に寄与することを示す。その際、多肢選択問題に対して、従来の正確さに加えて、「完全一致」と「ゲシュタルト距離」に基づくスコアリングを含む多面的な評価を採用した。その結果、LoRAに基づくインストラクションチューニングは、部分的にドメイン固有の知識をLLMに組み込むことができ、より大規模なモデルほど顕著な効果を示すことが示唆された。さらに、我々の結果は、英語中心のモデルを日本語に適応させることの可能性を強調するものであり、同時に日本語中心のモデルの限界も浮き彫りにするものである。この取り組みは、医療機関が外部サービスに依存することなくモデルの微調整と運用を可能にする先駆的な取り組みである。

要約(オリジナル)

In the ongoing wave of impact driven by large language models (LLMs) like ChatGPT, the adaptation of LLMs to medical domain has emerged as a crucial research frontier. Since mainstream LLMs tend to be designed for general-purpose applications, constructing a medical LLM through domain adaptation is a huge challenge. While instruction-tuning is used to fine-tune some LLMs, its precise roles in domain adaptation remain unknown. Here we show the contribution of LoRA-based instruction-tuning to performance in Japanese medical question-answering tasks. In doing so, we employ a multifaceted evaluation for multiple-choice questions, including scoring based on ‘Exact match’ and ‘Gestalt distance’ in addition to the conventional accuracy. Our findings suggest that LoRA-based instruction-tuning can partially incorporate domain-specific knowledge into LLMs, with larger models demonstrating more pronounced effects. Furthermore, our results underscore the potential of adapting English-centric models for Japanese applications in domain adaptation, while also highlighting the persisting limitations of Japanese-centric models. This initiative represents a pioneering effort in enabling medical institutions to fine-tune and operate models without relying on external services.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL