ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models

要約

人類の生活を改善するために不可欠な科学研究は、その固有の複雑さ、ペースの遅さ、専門家の必要性によって妨げられています。
生産性を向上させるために、私たちは ResearchAgent を提案します。ResearchAgent は、科学文献に基づいて繰り返し改良しながら、問題、手法、実験計画を自動的に生成する、大規模言語モデルを利用した研究アイデア作成エージェントです。
具体的には、アイデアを生み出すための主な焦点としてのコア論文から始まり、ResearchAgent は、学術グラフ上の情報を結び付けることで関連出版物だけでなく、基礎となる概念に基づいてエンティティ中心のナレッジ ストアから取得されたエンティティ、マイニング、
多くの論文で共有されています。
さらに、ピアディスカッションによってアイデアを繰り返し改善する人間のアプローチを反映して、レビューとフィードバックを繰り返し提供する複数の ReviewingAgent を活用します。
さらに、それらは人間の好みに合わせた大規模な言語モデルでインスタンス化されており、その評価基準は実際の人間の判断に基づいています。
当社は、複数の分野にわたる科学出版物で ResearchAgent を実験的に検証し、人的およびモデルベースの評価結果に基づいて、斬新で明確かつ有効な研究アイデアを生成する際のその有効性を示しています。

要約(オリジナル)

Scientific Research, vital for improving human life, is hindered by its inherent complexity, slow pace, and the need for specialized experts. To enhance its productivity, we propose a ResearchAgent, a large language model-powered research idea writing agent, which automatically generates problems, methods, and experiment designs while iteratively refining them based on scientific literature. Specifically, starting with a core paper as the primary focus to generate ideas, our ResearchAgent is augmented not only with relevant publications through connecting information over an academic graph but also entities retrieved from an entity-centric knowledge store based on their underlying concepts, mined and shared across numerous papers. In addition, mirroring the human approach to iteratively improving ideas with peer discussions, we leverage multiple ReviewingAgents that provide reviews and feedback iteratively. Further, they are instantiated with human preference-aligned large language models whose criteria for evaluation are derived from actual human judgments. We experimentally validate our ResearchAgent on scientific publications across multiple disciplines, showcasing its effectiveness in generating novel, clear, and valid research ideas based on human and model-based evaluation results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google