Evaluation of ChatGPT on Biomedical Tasks: A Zero-Shot Comparison with Fine-Tuned Generative Transformers

要約

ChatGPT は、OpenAI によって開発された大規模な言語モデルです。
さまざまなタスクにわたって優れたパフォーマンスを発揮するにもかかわらず、生物医学分野でのその能力を調査した先行研究はまだありません。
この目的を達成するために、この論文は、関係抽出、文書分類、質問応答、要約などのさまざまなベンチマーク生物医学タスクにおける ChatGPT のパフォーマンスを評価することを目的としています。
私たちの知る限り、これは生物医学分野で ChatGPT の広範な評価を行った最初の研究です。
興味深いことに、私たちの評価によると、トレーニング セットが小さい生物医学データセットでは、ゼロショット ChatGPT が、BioGPT や BioBART などの最先端の微調整された生成変換モデルよりも優れたパフォーマンスを発揮することがわかりました。
これは、ChatGPT が大規模なテキスト コーパスで事前トレーニングされているため、生物医学分野でもかなり専門化されていることを示唆しています。
私たちの調査結果は、ChatGPT が、大規模な注釈付きデータが不足している生物医学分野のさまざまなタスクにとって貴重なツールとなる可能性があることを示しています。

要約(オリジナル)

ChatGPT is a large language model developed by OpenAI. Despite its impressive performance across various tasks, no prior work has investigated its capability in the biomedical domain yet. To this end, this paper aims to evaluate the performance of ChatGPT on various benchmark biomedical tasks, such as relation extraction, document classification, question answering, and summarization. To the best of our knowledge, this is the first work that conducts an extensive evaluation of ChatGPT in the biomedical domain. Interestingly, we find based on our evaluation that in biomedical datasets that have smaller training sets, zero-shot ChatGPT even outperforms the state-of-the-art fine-tuned generative transformer models, such as BioGPT and BioBART. This suggests that ChatGPT’s pre-training on large text corpora makes it quite specialized even in the biomedical domain. Our findings demonstrate that ChatGPT has the potential to be a valuable tool for various tasks in the biomedical domain that lack large annotated data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google