HuatuoGPT-II, One-stage Training for Medical Adaption of LLMs

要約

言語モデルを特定のドメインに適応させること、別名「ドメイン適応」は、専門知識が必要な場合に一般的に行われます。
医学は、Llama2 のような一般的な言語モデルにカプセル化されていません。
課題は、言語、ジャンル、形式が異なるため、2 つのトレーニング ステージにわたるデータの異質性にあります。
これに取り組み、学習プロトコルを簡素化するために、事前トレーニング段階と教師あり段階の両方からの異種データを、統一された単純な入出力ペア形式に変換することを提案します。
私たちは、ChatGPT のような独自の LLM のパフォーマンスが比較的低い領域 (漢方薬など) で新しいプロトコルを検証します。
開発されたモデル HuatuoGPT-II は、漢方分野の多くのベンチマークで最先端のパフォーマンスを示しています。
医師免許試験。
特に伝統的な中国医学において、いくつかの面では、ChatGPT や GPT-4 などの独自のモデルよりも優れたパフォーマンスを発揮します。
専門家による手動評価により、既存の LLM に対する HuatuoGPT-II の利点がさらに検証されます。
特に、HuatuoGPT-II は新たな中国国家医師免許試験でベンチマークされ、最高のパフォーマンスを達成し、その有効性だけでなく一般化機能も実証されました。

要約(オリジナル)

Adapting a language model into a specific domain, a.k.a `domain adaption’, is a common practice when specialized knowledge, e.g. medicine, is not encapsulated in a general language model like Llama2. The challenge lies in the heterogeneity of data across the two training stages, as it varies in languages, genres, or formats. To tackle this and simplify the learning protocol, we propose to transform heterogeneous data, from the both pre-training and supervised stages, into a unified, simple input-output pair format. We validate the new protocol in the domains where proprietary LLMs like ChatGPT perform relatively poorly, such as Traditional Chinese Medicine. The developed model, HuatuoGPT-II, has shown state-of-the-art performance in Chinese medicine domain on a number of benchmarks, e.g. medical licensing exams. It even outperforms proprietary models like ChatGPT and GPT-4 in some aspects, especially in Traditional Chinese Medicine. Expert manual evaluations further validate HuatuoGPT-II’s advantages over existing LLMs. Notably, HuatuoGPT-II was benchmarked in a fresh Chinese National Medical Licensing Examination where it achieved the best performance, showcasing not only its effectiveness but also its generalization capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google