AI Conversational Interviewing: Transforming Surveys with LLMs as Adaptive Interviewers

要約

人々の意見を引き出すための従来の方法は、深さと規模の間のトレードオフに直面しています。構造化された調査により、大規模なデータ収集が可能になりますが、回答者の意見を自分の言葉で表明する能力を制限しますが、会話のインタビューはより深い洞察を提供しますが、リソースを集めます。
この研究では、人間のインタビュアーを大規模な言語モデル（LLM）に置き換える可能性を調査して、スケーラブルな会話インタビューを実施します。
私たちの目標は、AIの会話インタビューのパフォーマンスを評価し、制御された環境で改善する機会を特定することです。
私たちは、AIまたは人間のインタビュアーのいずれかによる会話のインタビューにランダムに割り当てられた大学生と、政治的トピックに関する同一のアンケートを採用している大学生と、小規模で詳細な研究を実施しました。
さまざまな定量的および定性的措置により、ガイドライン、対応の質、参加者の関与、および全体的なインタビューの有効性へのインタビュアーの遵守が評価されました。
調査結果は、従来の方法に匹敵する品質データを作成する際のAI会話インタビューの実行可能性を示しており、スケーラビリティの利点が追加されています。
再利用のためにデータと資料を公開し、効果的な実装のために特定の推奨事項を提示します。

要約(オリジナル)

Traditional methods for eliciting people’s opinions face a trade-off between depth and scale: structured surveys enable large-scale data collection but limit respondents’ ability to voice their opinions in their own words, while conversational interviews provide deeper insights but are resource-intensive. This study explores the potential of replacing human interviewers with large language models (LLMs) to conduct scalable conversational interviews. Our goal is to assess the performance of AI Conversational Interviewing and to identify opportunities for improvement in a controlled environment. We conducted a small-scale, in-depth study with university students who were randomly assigned to a conversational interview by either AI or human interviewers, both employing identical questionnaires on political topics. Various quantitative and qualitative measures assessed interviewer adherence to guidelines, response quality, participant engagement, and overall interview efficacy. The findings indicate the viability of AI Conversational Interviewing in producing quality data comparable to traditional methods, with the added benefit of scalability. We publish our data and materials for re-use and present specific recommendations for effective implementation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google