CausalQuest: Collecting Natural Causal Questions for AI Agents

要約

人間には因果関係を探ろうとする生来の本能があります。
好奇心や特定の目標によって引き起こされるかどうかにかかわらず、私たちは、物事がなぜ起こるのか、それらがどのように相互に関連しているのか、およびその他の多くの関連現象について常に疑問を抱いています。
この人間の自然な因果関係の探求に対処できる AI エージェントを開発するには、自然な因果関係に関する質問の包括的なデータセットが緊急に必要です。
残念ながら、既存のデータセットには、実際の AI 使用シナリオを反映していない人工的に作成された質問のみが含まれているか、特定のソースからの質問の範囲が限られています。
このギャップに対処するために、ソーシャル ネットワーク、検索エンジン、AI アシスタントから得られた 13,500 の自然発生的な質問のデータセットである CausalQuest を紹介します。
私たちは因果関係の疑問の定義を形式化し、より詳細な分類のための分類法を確立します。
ヒューマン アノテーターと大規模言語モデル (LLM) を組み合わせて、データセットに慎重にラベルを付けます。
人間が尋ねる質問の 42% は確かに因果関係に基づくものであり、その大多数は与えられた結果の背後にある原因を理解しようとしていることがわかりました。
このデータセットを使用して、因果関係のある質問を特定するバイナリ タスク用の効率的な分類器 (最大 2.85B パラメーター) をトレーニングし、最大 0.877 の F1 スコアという高いパフォーマンスを達成しました。
最後に、私たちのデータとモデルに基づいて構築できる将来の研究の方向性を豊富に示します。

要約(オリジナル)

Humans have an innate drive to seek out causality. Whether fuelled by curiosity or specific goals, we constantly question why things happen, how they are interconnected, and many other related phenomena. To develop AI agents capable of addressing this natural human quest for causality, we urgently need a comprehensive dataset of natural causal questions. Unfortunately, existing datasets either contain only artificially-crafted questions that do not reflect real AI usage scenarios or have limited coverage of questions from specific sources. To address this gap, we present CausalQuest, a dataset of 13,500 naturally occurring questions sourced from social networks, search engines, and AI assistants. We formalize the definition of causal questions and establish a taxonomy for finer-grained classification. Through a combined effort of human annotators and large language models (LLMs), we carefully label the dataset. We find that 42% of the questions humans ask are indeed causal, with the majority seeking to understand the causes behind given effects. Using this dataset, we train efficient classifiers (up to 2.85B parameters) for the binary task of identifying causal questions, achieving high performance with F1 scores of up to 0.877. We conclude with a rich set of future research directions that can build upon our data and models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google