Literature Meets Data: A Synergistic Approach to Hypothesis Generation

要約

AI は、仮説生成を含む科学プロセスを変革する可能性を秘めています。
仮説生成に関するこれまでの研究は、理論主導型アプローチとデータ主導型アプローチに大別できます。
どちらも斬新でもっともらしい仮説を生成するのに効果的であることが証明されていますが、相互に補完できるかどうかは未解決の問題のままです。
これに対処するために、文献に基づく洞察とデータを組み合わせて、LLM を活用した仮説生成を実行する最初の方法を開発しました。
この方法を 5 つの異なるデータセットに適用し、文献とデータの統合が他のベースラインよりも優れていることを示します (少数ショットに対して 8.97%、文献ベース単独に対して 15.75%、データドリブン単独に対して 3.37%)。
さらに、欺瞞検出と AI 生成コンテンツ検出という 2 つの困難なタスクにおける人間の意思決定を支援する上で、LLM が生成した仮説の有用性を評価するため、初めて人間による評価を実施しました。
私たちの結果は、人間の精度がこれらのタスクでそれぞれ 7.44\% と 14.19\% 大幅に向上することを示しています。
これらの発見は、文献ベースのアプローチとデータ主導のアプローチを統合することで、仮説生成のための包括的で微妙な枠組みを提供し、科学的研究に新たな道を開く可能性があることを示唆しています。

要約(オリジナル)

AI holds promise for transforming scientific processes, including hypothesis generation. Prior work on hypothesis generation can be broadly categorized into theory-driven and data-driven approaches. While both have proven effective in generating novel and plausible hypotheses, it remains an open question whether they can complement each other. To address this, we develop the first method that combines literature-based insights with data to perform LLM-powered hypothesis generation. We apply our method on five different datasets and demonstrate that integrating literature and data outperforms other baselines (8.97\% over few-shot, 15.75\% over literature-based alone, and 3.37\% over data-driven alone). Additionally, we conduct the first human evaluation to assess the utility of LLM-generated hypotheses in assisting human decision-making on two challenging tasks: deception detection and AI generated content detection. Our results show that human accuracy improves significantly by 7.44\% and 14.19\% on these tasks, respectively. These findings suggest that integrating literature-based and data-driven approaches provides a comprehensive and nuanced framework for hypothesis generation and could open new avenues for scientific inquiry.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google