Efficient Medical Question Answering with Knowledge-Augmented Question Generation

要約

拡大する言語モデルの応用分野において、医療知識の表現は、この分野の特殊な性質により依然として大きな課題となっています。
GPT-4 などの大規模な言語モデルは、医療質問応答タスクで妥当なスコアを取得しますが、小規模なモデルははるかに遅れています。
この研究では、2 つのアプローチを採用することで、医療分野における小規模言語モデルの習熟度を向上させる方法を紹介します。
まず、医学教科書のコーパスに基づいてモデルを微調整します。
次に、GPT-4 を使用して、教科書の知識をもとに下流タスクと同様の質問を生成し、それらを使用してモデルを微調整します。
さらに、関連する一連の質問で構成される「漸進的質問」を含む、新しい医療質問応答データセットである ECN-QA を紹介します。
このデータセットに関するトレーニング戦略の利点を示します。
この研究結果は、適切に微調整すれば、医療分野における小さな言語モデルの可能性を浮き彫りにしました。
コードと重みは https://github.com/raidium-med/MQG で入手できます。

要約(オリジナル)

In the expanding field of language model applications, medical knowledge representation remains a significant challenge due to the specialized nature of the domain. Large language models, such as GPT-4, obtain reasonable scores on medical question answering tasks, but smaller models are far behind. In this work, we introduce a method to improve the proficiency of a small language model in the medical domain by employing a two-fold approach. We first fine-tune the model on a corpus of medical textbooks. Then, we use GPT-4 to generate questions similar to the downstream task, prompted with textbook knowledge, and use them to fine-tune the model. Additionally, we introduce ECN-QA, a novel medical question answering dataset containing “progressive questions” composed of related sequential questions. We show the benefits of our training strategy on this dataset. The study’s findings highlight the potential of small language models in the medical domain when appropriately fine-tuned. The code and weights are available at https://github.com/raidium-med/MQG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google