Quriosity: Analyzing Human Questioning Behavior and Causal Inquiry through Curiosity-Driven Queries

要約

大規模な言語モデル（LLM）テクノロジーの最近の進捗は、これらのモデルとの対話における役割を変えました。
すでに答えを知っている質問でこれらのモデルを主にテストする代わりに、人間の好奇心によって駆動された答えが私たちに知られていないクエリにそれらを使用しています。
このシフトは、好奇心を抱いた人間の質問を理解するための増大する必要性を強調しています – より複雑で、オープンエンドで、実際のニーズを反映しているもの。
この目的のために、3つの多様なソースからの13.5kの自然発生の質問のコレクションであるQuriosityを提示します：人間から検索エンジンのクエリ、人間と人間と人間への相互作用、および人間とllmの会話。
当社の包括的なコレクションにより、さまざまなドメインやコンテキストにわたる人間の好奇心についての豊かな理解が可能になります。
私たちの分析により、データセットに因果的な質問（最大42％）が存在することが明らかになりました。これにより、すべての因果的クエリを特定し、独自の言語特性、認知的複雑さ、ソース分布を調べるための反復的な迅速な改善フレームワークが開発されています。
私たちの論文は、因果関係の識別とオープンエンドのチャットボットの相互作用に関する将来の作業への道を開きます。

要約(オリジナル)

Recent progress in Large Language Model (LLM) technology has changed our role in interacting with these models. Instead of primarily testing these models with questions we already know answers to, we are now using them for queries where the answers are unknown to us, driven by human curiosity. This shift highlights the growing need to understand curiosity-driven human questions – those that are more complex, open-ended, and reflective of real-world needs. To this end, we present Quriosity, a collection of 13.5K naturally occurring questions from three diverse sources: human-to-search-engine queries, human-to-human interactions, and human-to-LLM conversations. Our comprehensive collection enables a rich understanding of human curiosity across various domains and contexts. Our analysis reveals a significant presence of causal questions (up to 42%) in the dataset, for which we develop an iterative prompt improvement framework to identify all causal queries and examine their unique linguistic properties, cognitive complexity and source distribution. Our paper paves the way for future work on causal question identification and open-ended chatbot interactions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google