LlamaCare: A Large Medical Language Model for Enhancing Healthcare Knowledge Sharing

要約

大規模言語モデル (LLM) は、知識の記憶と現在において驚くべき能力を示しています。
ただし、ドメイン固有の知識や医療などの下流タスクに関しては、一般的な LLM は正確な答えを出せないことがよくあります。
さらに、LLM に分類の質問に答えてもらいたい場合、通常は最初に命令のチューニングを行います。
ただし、LLM は、命令チューニング後の分類の直接的なインデックスを常に提供するとは限りません。
この論文では、微調整された医療言語モデルである LlamaCare と、LLM の分類問題を処理するモジュールである拡張分類統合 (ECI) を提案しました。
私たちの貢献は次のとおりです: (i) 非常に低い炭素排出量で医療知識の大規模な言語モデルを微調整し、24G GPU による ChatGPT と同様のパフォーマンスを達成しました。
(ii) 拡張分類統合と呼ばれる新しいモジュールを提案することで、冗長なカテゴリ回答の問題を解決し、LLM のパフォーマンスを向上させました。
(iii) PubMedQA や USMLE 1-3 ステップなどの一部のベンチマークのワンショットおよび数ショット トレーニングの処理済みデータをリリースしました。
私たちの手法は、ベンチマークで同じ量のパラメーターを使用する一部の最先端モデルに匹敵するパフォーマンスを達成すると同時に、使用する GPU の計算時間を短縮することで環境に優しいものとしています。
私たちのモデル、コード、データセットは \url{https://github.com/Stephen-SMJ/LLamaCare} にあります。

要約(オリジナル)

Large language models (LLMs) have shown amazing capabilities in knowledge memorization and the present. However, when it comes to domain-specific knowledge and downstream tasks like medical, general LLMs are often unable to give precise answers. In addition, when people want LLMs to answer classification questions, they usually go through instruction tuning first. However, LLMs do not always give a direct index of the categorization after instruction tuning. In this paper, we proposed LlamaCare, a fine-tuned medical language model, and Extended Classification Integration(ECI), a module to handle classification problems of LLMs. Our contributions are : (i) We fine-tuned a large language model of medical knowledge with very low carbon emissions and achieved similar performance with ChatGPT by a 24G GPU. (ii) We solved the problem of redundant categorical answers and improved the performance of LLMs by proposing a new module called Extended Classification Integration. (iii) We released our processed data for one-shot and few-shot training for some benchmarks such as PubMedQA and USMLE 1-3 step. Our method achieves a close performance comparable to some state-of-the-art models with the same quantity of parameters on benchmarks, while being more environmentally friendly by using less GPU computation time. Our models, codes, and datasets can be found at \url{https://github.com/Stephen-SMJ/LLamaCare}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google