ChatDoctor: A Medical Chat Model Fine-tuned on LLaMA Model using Medical Domain Knowledge

要約

タイトル： ChatDoctor: 医療の知識を用いたLLaMAモデルをファインチューニングした医療チャットモデル

要約：
– 一般的な分野でのLLM（大規模言語モデル）はChatGPTなど、指示を理解し人間らしい応答を出すことにおいて驚異的な成功を収めている。
– しかし、これらの言語モデルは、医療分野に適用されておらず、応答の精度が低く、医療診断や薬剤に関する適切な助言を提供できない。
– この問題に対処するために、オンライン医療相談サイトから抽出した10万人の患者と医師の会話をベースに、ChatDoctorモデルをファインチューニングした。
– さらに、ChatDoctorにWikipediaや病気データベースなどの知識ブレインを自律的に検索する機能を追加し、リアルタイムで権威ある情報にアクセスして患者の質問に答える。
– これらの100k患者-医師の会話を用いてLLMsをファインチューニングしたことで、ChatDoctorモデルは患者のニーズを理解し、適切な助言を提供する点で大幅に改善された。
– 医療分野での対話モデルの進歩を促進するために、すべてのソースコード、データセット、モデルの重みをGitHub上で公開している。

要約(オリジナル)

Recent large language models (LLMs) in the general domain, such as ChatGPT, have shown remarkable success in following instructions and producing human-like responses. However, such language models have yet to be adapted for the medical domain, resulting in poor accuracy of responses and an inability to provide sound advice on medical diagnoses, medications, etc. To address this problem, we fine-tuned our ChatDoctor model based on 100k real-world patient-physician conversations from an online medical consultation site. Besides, we add autonomous knowledge retrieval capabilities to our ChatDoctor, for example, Wikipedia or a disease database as a knowledge brain. By fine-tuning the LLMs using these 100k patient-physician conversations, our model showed significant improvements in understanding patients’ needs and providing informed advice. The autonomous ChatDoctor model based on Wikipedia and Database Brain can access real-time and authoritative information and answer patient questions based on this information, significantly improving the accuracy of the model’s responses, which shows extraordinary potential for the medical field with a low tolerance for error. To facilitate the further development of dialogue models in the medical field, we make available all source code, datasets, and model weights available at: https://github.com/Kent0n-Li/ChatDoctor.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI