Improving Research Idea Generation Through Data: An Empirical Investigation in Social Science

要約

大規模な言語モデル（LLMS）の最近の進歩は、新しい研究のアイデアを生み出すことに有望であることを示しています。
ただし、これらのアイデアは、多くの場合、実現可能性と期待される有効性に関連する課題に直面しています。
このペーパーでは、アイデア生成プロセス中に関連するデータを使用してLLMを増強することで、生成されたアイデアの品質を高めることができる方法について説明します。
データを組み込む方法の2つの方法を紹介します。（1）Idea生成段階でメタデータを提供して、実現可能な方向にLLMを導くため、（2）アイデア選択段階で自動検証を追加して、アイデア内の仮説の経験的妥当性を評価します。
私たちは、特に気候交渉のトピックを使用して、社会科学の領域で実験を実施し、メタデータは生成されたアイデアの実現可能性を20％改善し、自動検証により選択されたアイデアの全体的な品質が7％向上することがわかります。
人間の研究では、LLMが生成したアイデアは、関連するデータと検証プロセスとともに、研究者がより高い品質の研究アイデアを提案するよう促していることを示しています。
私たちの研究は、データ駆動型の研究アイデア生成の可能性を強調し、実際の学術環境におけるLLM支援のアイデアの実用的な有用性を強調しています。

要約(オリジナル)

Recent advancements in large language models (LLMs) have shown promise in generating novel research ideas. However, these ideas often face challenges related to feasibility and expected effectiveness. This paper explores how augmenting LLMs with relevant data during the idea generation process can enhance the quality of generated ideas. We introduce two ways of incorporating data: (1) providing metadata during the idea generation stage to guide LLMs toward feasible directions, and (2) adding automatic validation during the idea selection stage to assess the empirical plausibility of hypotheses within ideas. We conduct experiments in the social science domain, specifically with climate negotiation topics, and find that metadata improves the feasibility of generated ideas by 20%, while automatic validation improves the overall quality of selected ideas by 7%. A human study shows that LLM-generated ideas, along with their related data and validation processes, inspire researchers to propose research ideas with higher quality. Our work highlights the potential of data-driven research idea generation, and underscores the practical utility of LLM-assisted ideation in real-world academic settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google