EpilepsyLLM: Domain-Specific Large Language Model Fine-tuned with Epilepsy Medical Knowledge

要約

大規模なトレーニング データセットと大量のコンピューティング ソースを使用すると、大規模言語モデル (LLM) は、包括的で生成的な能力において顕著なパフォーマンスを達成します。
これらの強力な LLM に基づいて、ドメイン固有のデータセットで微調整されたモデルは、より専門的な知識を備えているため、医療 LLM と同様により実用的です。
ただし、既存のきめ細かく調整された医療 LLM は、英語による一般的な医学知識に限定されています。
疾患特有の問題の場合、特に英語以外の言語を使用している場合、モデルの応答は不正確であり、場合によっては完全に無関係であることさえあります。
この研究では、日本語を使用したてんかんという特定の疾患に焦点を当て、EpilepsyLLM と呼ばれるカスタマイズされた LLM を紹介します。
私たちのモデルは、てんかんドメインのデータセットを使用した微調整手法によって、事前トレーニングされた LLM からトレーニングされます。
データセットには、病気に関する基本情報、一般的な治療法や薬剤、生活や仕事における重要な注意事項などの知識が含まれています。
実験結果は、EpilepsyLLM がより信頼性の高い専門的な医学知識の応答を提供できることを示しています。

要約(オリジナル)

With large training datasets and massive amounts of computing sources, large language models (LLMs) achieve remarkable performance in comprehensive and generative ability. Based on those powerful LLMs, the model fine-tuned with domain-specific datasets posseses more specialized knowledge and thus is more practical like medical LLMs. However, the existing fine-tuned medical LLMs are limited to general medical knowledge with English language. For disease-specific problems, the model’s response is inaccurate and sometimes even completely irrelevant, especially when using a language other than English. In this work, we focus on the particular disease of Epilepsy with Japanese language and introduce a customized LLM termed as EpilepsyLLM. Our model is trained from the pre-trained LLM by fine-tuning technique using datasets from the epilepsy domain. The datasets contain knowledge of basic information about disease, common treatment methods and drugs, and important notes in life and work. The experimental results demonstrate that EpilepsyLLM can provide more reliable and specialized medical knowledge responses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google