Telephone Surveys Meet Conversational AI: Evaluating a LLM-Based Telephone Survey System at Scale

要約

電話調査は依然として洞察を収集するための貴重なツールですが、通常、人間のインタビュアーのトレーニングと調整にかなりのリソースが必要です。
この作業では、テキストへの語り方（TTS）、大規模な言語モデル（LLM）、およびスピーチツーテキスト（STT）を統合するAI駆動型の電話調査システムが、規模の人間主導のインタビューの汎用性を模倣しています。
米国でのパイロット研究（n = 75）とペルーでの大規模な展開（n = 2,739）でシステムをテストし、Webベースのリンクを介して参加者を招待し、直接電話で連絡しました。
AIエージェントは、オープンエンドおよびクローズドエンドの質問を成功裏に管理し、基本的な明確化を処理し、動的にナビゲートした分岐ロジックを使用して、インタビュアーの募集やトレーニングなしで高速な大規模な調査展開を可能にしました。
私たちの調査結果は、AIシステムの定性的深さの調査は人間のインタビュアーよりも制限されていたが、全体的なデータ品質が構造化されたアイテムの人間主導の基準に近づいていることを示しています。
この研究は、現実世界の調査の文脈におけるLLMベースの電話インタビュアーの最初の成功した大規模な展開の1つを表しています。
AIを搭載した電話調査システムは、市場調査、社会科学、世論全体にわたって収集するスケーラブルで一貫したデータを拡大する可能性があり、したがって、研究のための適切なデータ品質を維持しながら運用効率を改善します。

要約(オリジナル)

Telephone surveys remain a valuable tool for gathering insights but typically require substantial resources in training and coordinating human interviewers. This work presents an AI-driven telephone survey system integrating text-to-speech (TTS), a large language model (LLM), and speech-to-text (STT) that mimics the versatility of human-led interviews on scale. We tested the system across two populations, a pilot study in the United States (n = 75) and a large-scale deployment in Peru (n = 2,739), inviting participants via web-based links and contacting them via direct phone calls. The AI agent successfully administered open-ended and closed-ended questions, handled basic clarifications, and dynamically navigated branching logic, allowing fast large-scale survey deployment without interviewer recruitment or training. Our findings demonstrate that while the AI system’s probing for qualitative depth was more limited than human interviewers, overall data quality approached human-led standards for structured items. This study represents one of the first successful large-scale deployments of an LLM-based telephone interviewer in a real-world survey context. The AI-powered telephone survey system has the potential for expanding scalable, consistent data collecting across market research, social science, and public opinion studies, thus improving operational efficiency while maintaining appropriate data quality for research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google