Can large language models replace humans in the systematic review process? Evaluating GPT-4’s efficacy in screening and extracting data from peer-reviewed and grey literature in multiple languages

要約

体系的なレビューは実践、研究、政策を導くために不可欠ですが、多くの場合時間がかかり、労力がかかります。
大規模言語モデル (LLM) は、体系的なレビューを高速化して自動化する方法を提供する可能性がありますが、そのようなタスクにおける LLM のパフォーマンスは人間に対して包括的に評価されておらず、これまでのところ最大の LLM である GPT-4 をテストした研究はありません。
この事前登録された研究では、「人間によるループ外」のアプローチを使用して、タイトル/要約のスクリーニング、全文レビュー、およびさまざまな文献の種類と言語にわたるデータ抽出における GPT-4 の機能を評価します。
GPT-4 はほとんどのタスクにおいて人間のパフォーマンスと同等の精度を持っていましたが、結果は偶然の一致とデータセットの不均衡によって歪められました。
これらを調整した後、データ抽出のパフォーマンスは中程度のレベルになり、信頼性の高いプロンプトを使用した研究を除いて、スクリーニングのパフォーマンスはさまざまな段階や言語でなしから中程度のレベルになりました。
信頼性の高いプロンプトを使用して文献全文をスクリーニングする場合、GPT-4 のパフォーマンスは「ほぼ完璧」でした。
信頼性の高いプロンプトを使用して主要な調査の欠落に対して GPT-4 にペナルティを与えることで、パフォーマンスがさらに向上しました。
私たちの調査結果は、系統的レビューを実施するために LLM を使用する場合、現時点では十分な注意が必要であることを示していますが、信頼できるプロンプトの下で実行される特定の系統的レビュータスクでは、LLM が人間のパフォーマンスに匹敵する可能性があることを示唆しています。

要約(オリジナル)

Systematic reviews are vital for guiding practice, research, and policy, yet they are often slow and labour-intensive. Large language models (LLMs) could offer a way to speed up and automate systematic reviews, but their performance in such tasks has not been comprehensively evaluated against humans, and no study has tested GPT-4, the biggest LLM so far. This pre-registered study evaluates GPT-4’s capability in title/abstract screening, full-text review, and data extraction across various literature types and languages using a ‘human-out-of-the-loop’ approach. Although GPT-4 had accuracy on par with human performance in most tasks, results were skewed by chance agreement and dataset imbalance. After adjusting for these, there was a moderate level of performance for data extraction, and – barring studies that used highly reliable prompts – screening performance levelled at none to moderate for different stages and languages. When screening full-text literature using highly reliable prompts, GPT-4’s performance was ‘almost perfect.’ Penalising GPT-4 for missing key studies using highly reliable prompts improved its performance even more. Our findings indicate that, currently, substantial caution should be used if LLMs are being used to conduct systematic reviews, but suggest that, for certain systematic review tasks delivered under reliable prompts, LLMs can rival human performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google