Enabling Inclusive Systematic Reviews: Incorporating Preprint Articles with Large Language Model-Driven Evaluations

要約

背景。
比較有効性の研究における体系的なレビューには、タイムリーな証拠統合が必要です。
プリプリントは知識の普及を加速しますが、品質は異なり、系統的レビューの課題をもたらします。
方法。
プリプリント出版物を予測するための高度なフレームワークであるAutoconfidence（自動信頼評価）を提案します。これは、手動キュレーションへの依存を減らし、3つの重要な進歩を含む予測因子の範囲を拡大します。
さらに、2つの予測モデルを採用しました。バイナリ結果のランダムフォレスト分類器と、時間の経過とともにバイナリ結果と出版物のリスクの両方を予測する生存硬化モデルです。
結果。
ランダムフォレスト分類器は、LLM駆動型スコアでAUROC 0.692を達成し、セマンティック埋め込みで0.733、記事使用量メトリックで0.747に改善しました。
Survival Cureモデルは、LLM駆動スコアでAuroc 0.716に達し、セマンティック埋め込みで0.731に改善しました。
出版リスク予測のために、0.658の一致インデックスを達成し、セマンティック埋め込みで0.667に増加しました。
結論。
私たちの研究は、自動化されたデータ抽出と複数の機能統合を通じて、プリプリント公開予測のフレームワークを進めています。
セマンティックな埋め込みとLLM駆動型評価を組み合わせることにより、オートコンフェンスは予測パフォーマンスを向上させ、手動注釈の負担を軽減します。
このフレームワークには、エビデンスに基づいた医療におけるプリプリント記事の体系的な組み込みを促進する可能性があり、より効果的な評価とプリプリントリソースの利用をサポートしています。

要約(オリジナル)

Background. Systematic reviews in comparative effectiveness research require timely evidence synthesis. Preprints accelerate knowledge dissemination but vary in quality, posing challenges for systematic reviews. Methods. We propose AutoConfidence (automated confidence assessment), an advanced framework for predicting preprint publication, which reduces reliance on manual curation and expands the range of predictors, including three key advancements: (1) automated data extraction using natural language processing techniques, (2) semantic embeddings of titles and abstracts, and (3) large language model (LLM)-driven evaluation scores. Additionally, we employed two prediction models: a random forest classifier for binary outcome and a survival cure model that predicts both binary outcome and publication risk over time. Results. The random forest classifier achieved AUROC 0.692 with LLM-driven scores, improving to 0.733 with semantic embeddings and 0.747 with article usage metrics. The survival cure model reached AUROC 0.716 with LLM-driven scores, improving to 0.731 with semantic embeddings. For publication risk prediction, it achieved a concordance index of 0.658, increasing to 0.667 with semantic embeddings. Conclusion. Our study advances the framework for preprint publication prediction through automated data extraction and multiple feature integration. By combining semantic embeddings with LLM-driven evaluations, AutoConfidence enhances predictive performance while reducing manual annotation burden. The framework has the potential to facilitate systematic incorporation of preprint articles in evidence-based medicine, supporting researchers in more effective evaluation and utilization of preprint resources.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google