ADVISE: AI-accelerated Design of Evidence Synthesis for Global Development

要約

タイトル：ADVISE：AIによるグローバル開発のためのエビデンスシンセシスの高速化

要約：

– エビデンスに基づく政策やプログラムを設計する際に、意思決定者は膨大な文献データから重要な情報を抽出する必要がある
– 適切な文献を検索結果から選択することは時間と労力がかかり、人手によるスクリーニングが必要となるため、効率を改善する方法が求められる
– 本研究では、Bidirectional Encoder Representations from Transformers（BERT）モデルに基づくAIエージェントを開発し、グローバル開発のエビデンスシンセシスの設計に人間と共に取り入れる方法を探求した
– さらに、アクティブラーニング（AL）を利用して、人間-AIハイブリッドチームの効率を向上させることを検討した
– 具体的には、ランダムサンプリング、最小信頼度（LC）サンプリング、最優先度（HP）サンプリングなどの異なるサンプリング戦略を評価し、共同スクリーニングプロセスに対する影響を研究した
– 結果は、BERTベースのAIエージェントを人間チームに統合することで、人間スクリーニングの労力を68.5％削減できることを示した
– SVMベースのAIエージェントを使用して全関連文書の80％を特定する場合と比較して16.8％削減できた
– HPサンプリング戦略をALに適用すると、人間スクリーニングの労力を78.3％削減できることが分かった
– USAIDのエビデンスギャップマップの設計プロセスでAL-enhanced human-AIハイブリッドチームのワークフローを適用した結果、非常に効果的であることが示された
– これらの結果は、AIがエビデンスシンセシス製品の開発を加速し、グローバル開発のタイムリーかつエビデンスに基づく意思決定を促進することができることを示している。

要約(オリジナル)

When designing evidence-based policies and programs, decision-makers must distill key information from a vast and rapidly growing literature base. Identifying relevant literature from raw search results is time and resource intensive, and is often done by manual screening. In this study, we develop an AI agent based on a bidirectional encoder representations from transformers (BERT) model and incorporate it into a human team designing an evidence synthesis product for global development. We explore the effectiveness of the human-AI hybrid team in accelerating the evidence synthesis process. To further improve team efficiency, we enhance the human-AI hybrid team through active learning (AL). Specifically, we explore different sampling strategies, including random sampling, least confidence (LC) sampling, and highest priority (HP) sampling, to study their influence on the collaborative screening process. Results show that incorporating the BERT-based AI agent into the human team can reduce the human screening effort by 68.5% compared to the case of no AI assistance and by 16.8% compared to the case of using a support vector machine (SVM)-based AI agent for identifying 80% of all relevant documents. When we apply the HP sampling strategy for AL, the human screening effort can be reduced even more: by 78.3% for identifying 80% of all relevant documents compared to no AI assistance. We apply the AL-enhanced human-AI hybrid teaming workflow in the design process of three evidence gap maps (EGMs) for USAID and find it to be highly effective. These findings demonstrate how AI can accelerate the development of evidence synthesis products and promote timely evidence-based decision making in global development in a human-AI hybrid teaming context.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI