Large Language Models for Multi-Choice Question Classification of Medical Subjects

要約

この論文の目的は、多肢選択の質問データでトレーニングされた大規模な言語モデルを医療対象間の識別に使用できるかどうかを評価することです。
これは自動質問応答にとって重要かつ困難なタスクです。
この目標を達成するために、質問を推定された医療主題にマルチクラス分類するためのディープ ニューラル ネットワークをトレーニングします。
当社の Multi-Question (MQ) Sequence-BERT メソッドを使用すると、開発セットとテスト セットでそれぞれ 0.68 と 0.60 の精度で、MedMCQA データセットの最先端の結果を上回りました。
この意味で、特にヘルスケア領域の複数分類タスクに対する AI と LLM の機能を示します。

要約(オリジナル)

The aim of this paper is to evaluate whether large language models trained on multi-choice question data can be used to discriminate between medical subjects. This is an important and challenging task for automatic question answering. To achieve this goal, we train deep neural networks for multi-class classification of questions into the inferred medical subjects. Using our Multi-Question (MQ) Sequence-BERT method, we outperform the state-of-the-art results on the MedMCQA dataset with an accuracy of 0.68 and 0.60 on their development and test sets, respectively. In this sense, we show the capability of AI and LLMs in particular for multi-classification tasks in the Healthcare domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google