IIMedGPT: Promoting Large Language Model Capabilities of Medical Tasks by Efficient Human Preference Alignment

要約

大規模な汎用コーパスで事前トレーニングされた大規模言語モデル (LLM) の最近の研究は、人間のクエリに応答する上で画期的な進歩を遂げました。
ただし、これらの方法では、広範な事前トレーニングをサポートするにはデータが不十分であり、応答をユーザーの指示と一致させることができないなどの課題に直面しています。
これらの問題に対処するために、実際の医療業務から派生した 6 つの医療指示を含む医療指示データセット CMedINS を導入します。これにより、他のデータと組み合わせて LLM を効果的に微調整できます。
続いて、効率的な嗜好調整手法である直接嗜好最適化(DPO)を採用した医療モデル IIMedGPT を立ち上げます。
結果は、私たちの最終モデルが医療対話において既存の医療モデルを上回っていることを示しています。データセット、コード、およびモデルのチェックポイントは承認され次第リリースされます。

要約(オリジナル)

Recent researches of large language models(LLM), which is pre-trained on massive general-purpose corpora, have achieved breakthroughs in responding human queries. However, these methods face challenges including limited data insufficiency to support extensive pre-training and can not align responses with users’ instructions. To address these issues, we introduce a medical instruction dataset, CMedINS, containing six medical instructions derived from actual medical tasks, which effectively fine-tunes LLM in conjunction with other data. Subsequently, We launch our medical model, IIMedGPT, employing an efficient preference alignment method, Direct preference Optimization(DPO). The results show that our final model outperforms existing medical models in medical dialogue.Datsets, Code and model checkpoints will be released upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google