Towards Democratizing Multilingual Large Language Models For Medicine Through A Two-Stage Instruction Fine-tuning Approach

要約

オープンソースの多言語医療大規模言語モデル (LLM) には、さまざまな地域の言語的に多様な人々にサービスを提供できる可能性があります。
ジェネリック LLM を医療に適応させるには、継続的な事前トレーニングが必要になることがよくありますが、このアプローチは計算コストが高く、非現実的な場合もあります。
モデルがさまざまなシナリオで効果的に理解して推論するために必要な広範なドメイン知識が不足しているため、特定のタスクに対する命令の微調整では、常に最適なパフォーマンスが保証されるとは限りません。
これらの課題に対処するために、6 つの言語で 200,000 を超える高品質の医療サンプルを含む 2 つの多言語指導微調整データセット、MMed-IFT と MMed-IFT-MC を導入しました。
私たちは 2 段階のトレーニング パラダイムを提案します。第 1 段階では MMed-IFT を使用して一般的な医学知識を注入し、第 2 段階では MMed-IFT-MC を使用してタスク固有の多肢選択の質問を微調整します。
私たちの手法は、英語と多言語の両方のベンチマークで競争力のある結果を達成し、計算効率とパフォーマンスのバランスを保っています。
将来的には、データセットとモデルの重みを \url{https://github.com/SpassMed/Med-Llama3} で公開する予定です。

要約(オリジナル)

Open-source, multilingual medical large language models (LLMs) have the potential to serve linguistically diverse populations across different regions. Adapting generic LLMs for healthcare often requires continual pretraining, but this approach is computationally expensive and sometimes impractical. Instruction fine-tuning on a specific task may not always guarantee optimal performance due to the lack of broader domain knowledge that the model needs to understand and reason effectively in diverse scenarios. To address these challenges, we introduce two multilingual instruction fine-tuning datasets, MMed-IFT and MMed-IFT-MC, containing over 200k high-quality medical samples in six languages. We propose a two-stage training paradigm: the first stage injects general medical knowledge using MMed-IFT, while the second stage fine-tunes task-specific multiple-choice questions with MMed-IFT-MC. Our method achieves competitive results on both English and multilingual benchmarks, striking a balance between computational efficiency and performance. We plan to make our dataset and model weights public at \url{https://github.com/SpassMed/Med-Llama3} in the future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google