DoctorGLM: Fine-tuning your Chinese Doctor is not a Herculean Task

要約

【タイトル】DoctorGLM：あなたの中国の医師を微調整することは、ヘラクレスの仕事ではありません

【要約】
– 最近の大規模言語モデル（LLM）の進展は、人間の指示を理解して応答するChatGPTやGPT-4などを含め、著しいものである。
– しかし、これらのモデルは通常英語で優れたパフォーマンスを発揮し、医療領域に明示的にトレーニングされていないため、診断、薬の推奨などの医療アドバイスにおいて最適な精度を示していない。
– さらに、対話モデルのトレーニングと展開は、まだ病院では不可能だと考えられており、LLMの普及が妨げられている。
– これらの課題に対処するために、当社は医療対話のデータベースをChatGPTの支援を得て収集し、いくつかの技術を採用して簡単に展開できるLLMをトレーニングしました。
– 驚くべきことに、ChatGLM-6Bを単一のA100 80Gで13時間かけて微調整することができ、ヘルスケア用途のLLMを非常に手頃な価格で所有することができます。
– DoctorGLMは現在早期のエンジニアリング試みであり、さまざまなミスが含まれています。
– 当社は、フィードバックと提案を招待するために広く共有しています: https://github.com/xionghonglin/DoctorGLM。

要約(オリジナル)

The recent progress of large language models (LLMs), including ChatGPT and GPT-4, in comprehending and responding to human instructions has been remarkable. Nevertheless, these models typically perform better in English and have not been explicitly trained for the medical domain, resulting in suboptimal precision in diagnoses, drug recommendations, and other medical advice. Additionally, training and deploying a dialogue model is still believed to be impossible for hospitals, hindering the promotion of LLMs. To tackle these challenges, we have collected databases of medical dialogues in Chinese with ChatGPT’s help and adopted several techniques to train an easy-deploy LLM. Remarkably, we were able to fine-tune the ChatGLM-6B on a single A100 80G in 13 hours, which means having a healthcare-purpose LLM can be very affordable. DoctorGLM is currently an early-stage engineering attempt and contain various mistakes. We are sharing it with the broader community to invite feedback and suggestions to improve its healthcare-focused capabilities: https://github.com/xionghonglin/DoctorGLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI