ResearchTown: Simulator of Human Research Community

要約

大規模言語モデル (LLM) は科学分野で顕著な可能性を示していますが、根本的な疑問は未解決のままです:LLM を使用して人間の研究コミュニティをシミュレートできるか?
この質問に取り組むことで、アイデアのブレインストーミングの背後にあるプロセスについての理解が深まり、新しい科学的洞察が自動的に発見されるようになります。
この研究では、研究コミュニティ シミュレーションのためのマルチエージェント フレームワークである ResearchTown を提案します。
このフレームワーク内では、人間の研究コミュニティが簡素化され、エージェント データ グラフとしてモデル化されます。研究者と論文はそれぞれエージェント タイプとデータ タイプのノードとして表され、コラボレーション関係に基づいて接続されます。
また、エージェント データ グラフ上の統一されたメッセージ パッシング プロセスの特殊な形式として、さまざまな研究活動 (論文の読み取り、論文の執筆、レビューの執筆など) をモデル化するテキストベースの推論フレームワークである TextGNN も紹介します。
研究シミュレーションの品質を評価するために、類似性に基づいたスケーラブルで客観的な評価を行うノード マスキング予測タスクを使用するベンチマークである ResearchBench を紹介します。
私たちの実験では、次の 3 つの重要な発見が明らかになりました。(1) ResearchTown は、論文執筆やレビュー執筆を含む共同研究活動の現実的なシミュレーションを提供できます。
(2) ResearchTown は複数の研究者と多様な論文による堅牢なシミュレーションを維持できます。
(3) ResearchTown は、新しい研究の方向性を刺激する可能性のある学際的な研究アイデアを生み出すことができます。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated remarkable potential in scientific domains, yet a fundamental question remains unanswered: Can we simulate human research communities with LLMs? Addressing this question can deepen our understanding of the processes behind idea brainstorming and inspire the automatic discovery of novel scientific insights. In this work, we propose ResearchTown, a multi-agent framework for research community simulation. Within this framework, the human research community is simplified and modeled as an agent-data graph, where researchers and papers are represented as agent-type and data-type nodes, respectively, and connected based on their collaboration relationships. We also introduce TextGNN, a text-based inference framework that models various research activities (e.g., paper reading, paper writing, and review writing) as special forms of a unified message-passing process on the agent-data graph. To evaluate the quality of the research simulation, we present ResearchBench, a benchmark that uses a node-masking prediction task for scalable and objective assessment based on similarity. Our experiments reveal three key findings: (1) ResearchTown can provide a realistic simulation of collaborative research activities, including paper writing and review writing; (2) ResearchTown can maintain robust simulation with multiple researchers and diverse papers; (3) ResearchTown can generate interdisciplinary research ideas that potentially inspire novel research directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google