Keeping Users Engaged During Repeated Administration of the Same Questionnaire: Using Large Language Models to Reliably Diversify Questions

要約

標準化され検証されたアンケートは、HCI 研究と医療において重要なツールであり、信頼できる自己報告データを提供します。
ただし、縦断的研究または事前事後研究で繰り返し使用すると、回答者の疲労を誘発し、回答の偏りや回答率の低下を通じてデータの品質に影響を与える可能性があります。
私たちは、大規模言語モデル (LLM) を利用して、良好な心理測定特性を維持しながら、多様なアンケート バージョンを生成することを提案します。
縦断的研究では、参加者は当社のエージェント システムに参加し、標準化されたうつ病アンケート、または検証済みのうつ病アンケートと並行して、LLM が生成した 2 つのアンケート バリアントのいずれかに 2 週間毎日回答しました。
心理測定テストにより、外部基準と 3 つの条件全体で実施された焦点測定値との間の一貫した共変動が明らかになり、LLM によって生成されたバリアントの信頼性と妥当性が実証されました。
参加者は、標準化されたアンケートの繰り返し実施が、バリエーションと比較して大幅に反復的であることに気づきました。
私たちの調査結果は、LLM によって生成されたバリアントがアンケートを活性化し、有効性を損なうことなくエンゲージメントと関心を促進する可能性を強調しています。

要約(オリジナル)

Standardized, validated questionnaires are vital tools in HCI research and healthcare, offering dependable self-report data. However, their repeated use in longitudinal or pre-post studies can induce respondent fatigue, impacting data quality via response biases and decreased response rates. We propose utilizing large language models (LLMs) to generate diverse questionnaire versions while retaining good psychometric properties. In a longitudinal study, participants engaged with our agent system and responded daily for two weeks to either a standardized depression questionnaire or one of two LLM-generated questionnaire variants, alongside a validated depression questionnaire. Psychometric testing revealed consistent covariation between the external criterion and the focal measure administered across the three conditions, demonstrating the reliability and validity of the LLM-generated variants. Participants found the repeated administration of the standardized questionnaire significantly more repetitive compared to the variants. Our findings highlight the potential of LLM-generated variants to invigorate questionnaires, fostering engagement and interest without compromising validity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google