Completing A Systematic Review in Hours instead of Months with Interactive AI Agents

要約

体系的なレビュー（SRS）は、ヘルスケアなどの高品質の分野でのエビデンスに基づいた実践には不可欠ですが、多くの場合、集中的な労働と、完了するまでに数か月かかる長いプロセスによって妨げられます。
ドメインの専門知識に対する需要が高いため、既存の自動要約方法は、関連する研究を正確に特定し、高品質の要約を生み出すことができません。
そのため、このワークフローに革命をもたらす大規模な言語モデルを搭載した人間中心のインタラクティブAIエー​​ジェントであるInsightagentを紹介します。
Insightagentは、セマンティクスに基づいて大規模な文献コーパスを分割し、文献のより焦点を絞った処理のためにマルチエージェント設計を採用しており、生成されたSRSの品質を大幅に改善します。
Insightagentはまた、コーパスとエージェントの軌跡の直感的な視覚化を提供し、ユーザーがエージェントのアクションを簡単に監視し、専門知識に基づいてリアルタイムのフィードバックを提供できるようにします。
9人の医療専門家を対象としたユーザー調査は、視覚化と相互作用メカニズムが合成されたSRの品質を27.2％効果的に改善し、人間が書いた品質の79.7％に達することを実証しています。
同時に、ユーザーの満足度が34.4％向上します。
洞察力の場合、高品質の系統的レビューを完了するのに臨床医が数か月ではなく約1.5時間しかかかりません。

要約(オリジナル)

Systematic reviews (SRs) are vital for evidence-based practice in high stakes disciplines, such as healthcare, but are often impeded by intensive labors and lengthy processes that can take months to complete. Due to the high demand for domain expertise, existing automatic summarization methods fail to accurately identify relevant studies and generate high-quality summaries. To that end, we introduce InsightAgent, a human-centered interactive AI agent powered by large language models that revolutionize this workflow. InsightAgent partitions a large literature corpus based on semantics and employs a multi-agent design for more focused processing of literature, leading to significant improvement in the quality of generated SRs. InsightAgent also provides intuitive visualizations of the corpus and agent trajectories, allowing users to effortlessly monitor the actions of the agent and provide real-time feedback based on their expertise. Our user studies with 9 medical professionals demonstrate that the visualization and interaction mechanisms can effectively improve the quality of synthesized SRs by 27.2%, reaching 79.7% of human-written quality. At the same time, user satisfaction is improved by 34.4%. With InsightAgent, it only takes a clinician about 1.5 hours, rather than months, to complete a high-quality systematic review.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google