DoctorGLM: Fine-tuning your Chinese Doctor is not a Herculean Task

要約

【タイトル】DoctorGLM：あなたの中国の医師を微調整することは大変なタスクではありません。

【要約】
– ChatGPTやGPT-4などの大規模言語モデル（LLM）の進歩は印象的であり、人間の指示を理解し対応する能力がありますが、これらのモデルは通常英語での性能が高く、医療分野で明示的にトレーニングされておらず、診断、薬物推奨、その他の医療アドバイスにおいて十分な正確性が得られていません。
– さらに、対話モデルのトレーニングと展開はまだ病院では不可能と考えられており、LLMの普及を妨げています。
– これらの課題を解決するために、ChatGPTの支援を受けて、医療対話のデータベースを収集し、いくつかの技術を採用して簡単に展開可能なLLMをトレーニングしました。
– 驚くべきことに、一つのA100 80GでChatGLM-6Bをわずか13時間で微調整することができ、医療目的のLLMを非常に手頃な価格で利用できることがわかりました。
– DoctorGLMは現在、早期工程であり、さまざまな誤りが含まれています。より広いコミュニティに共有して、医療に特化した機能を改善するためのフィードバックや提案を募集しています。:https://github.com/xionghonglin/DoctorGLM。

【要点】
– ChatGPTやGPT-4などの大規模言語モデルは、英語での性能が高く、医療分野でのトレーニング経験が不足している。
– 医療に特化した対話モデルは、病院では展開することができないと考えられているが、LLMの普及を妨げている。
– DoctorGLMは、ChatGPTの支援を受けて、医療対話のデータベースを収集し、いくつかの技術を採用して簡単に展開可能なLLMをトレーニングした。
– 一つのA100 80GでChatGLM-6Bを微調整することができ、医療目的のLLMを手頃な価格で利用できることがわかった。
– DoctorGLMは現在、早期工程であり、より広いコミュニティに共有して、医療に特化した機能を改善するためのフィードバックや提案を募集している。

要約(オリジナル)

The recent progress of large language models (LLMs), including ChatGPT and GPT-4, in comprehending and responding to human instructions has been remarkable. Nevertheless, these models typically perform better in English and have not been explicitly trained for the medical domain, resulting in suboptimal precision in diagnoses, drug recommendations, and other medical advice. Additionally, training and deploying a dialogue model is still believed to be impossible for hospitals, hindering the promotion of LLMs. To tackle these challenges, we have collected databases of medical dialogues in Chinese with ChatGPT’s help and adopted several techniques to train an easy-deploy LLM. Remarkably, we were able to fine-tune the ChatGLM-6B on a single A100 80G in 13 hours, which means having a healthcare-purpose LLM can be very affordable. DoctorGLM is currently an early-stage engineering attempt and contain various mistakes. We are sharing it with the broader community to invite feedback and suggestions to improve its healthcare-focused capabilities: https://github.com/xionghonglin/DoctorGLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI