LlamaCare: A Large Medical Language Model for Enhancing Healthcare Knowledge Sharing

要約

大規模言語モデル (LLM) は、知識の記憶において驚くべき能力を示しており、現在に至っています。
ただし、ドメイン固有の知識や医療などの下流タスクに関しては、一般的な LLM は正確な答えを出せないことがよくあります。
さらに、LLM に分類の質問に答えてもらいたい場合、通常は最初に命令チューニングを実行しますが、LLM は命令チューニング後に分類の直接のインデックスを常に提供するとは限りません。
この論文では、微調整された医療言語モデルである LlamaCare と、LLM の分類問題を処理するモジュールである拡張分類統合 (ECI) を提案しました。
私たちの貢献は次のとおりです: (i) 非常に低い炭素排出量で医療知識の大規模な言語モデルを微調整し、24G GPU による ChatGPT と同様のパフォーマンスを達成しました。
(ii) 拡張分類統合と呼ばれる新しいモジュールを提案することで、冗長なカテゴリ回答の問題を解決し、LLM のパフォーマンスを向上させました。
(iii) PubMedQA や USMLE 1-3 ステップなどの一部のベンチマークのワンショットおよび数ショット トレーニングの処理済みデータをリリースしました。
私たちの方法は、同じ量のパラメーターを持つ LLM と比較して、GPU リソースのコストが低くなりながら、ベンチマークで最先端のモデルとほぼ同じ効果を達成します。
私たちのモデル、コード、データセットは https://github.com/Stephen-SMJ/LLamaCare にあります。

要約(オリジナル)

Large language models (LLMs) have shown amazing capabilities in knowledge memorization and present. However, when it comes to domain-specific knowledge and downstream tasks like medical, general LLMs are often unable to give precise answers. In addition, when people want LLMs to answer classification questions, they usually go through instruction tuning first, however, LLMs do not always give a direct index of the categorization after instruction tuning. In this paper, we proposed LlamaCare, a fine-tuned medical language model, and Extended Classification Integration(ECI), a module to handle classification problems of LLMs. Our contributions are : (i) We fine-tuned a large language model of medical knowledge with very low carbon emissions and achieved similar performance with ChatGPT by a 24G GPU. (ii) We solved the problem of redundant categorical answers and improved the performance of LLMs by proposing a new module called Extended Classification Integration. (iii) We released our processed data for one-shot and few-shot training for some benchmarks such as PubMedQA and USMLE 1-3 step. Our method achieves a close effect with the state-of-the-art model in benchmarks while costing lower GPU resources compared to LLMs with the same quantity of parameters. Our models, codes, and datasets can be found in https://github.com/Stephen-SMJ/LLamaCare

arxiv情報

提供元, 利用サービス

arxiv.jp, Google