Follow-Up Questions Improve Documents Generated by Large Language Models

要約

この調査では、短い (1 ページ) テキスト文書を求めるユーザーの要求に応じてフォローアップの質問を生成する大規模言語モデル (LLM) の影響を調査します。
ユーザーは、フォローアップの質問をするように設計された新しい Web ベースの AI システムを操作しました。
ユーザーはAIに作成してほしい文書をリクエストした。
その後、AI は、要求された文書を生成する前に、ユーザーのニーズを明確にしたり、追加の洞察を提供したりするためのフォローアップの質問を生成しました。
質問に回答した後、ユーザーには、最初のリクエストと質問と回答の両方を使用して生成されたドキュメントと、最初のリクエストのみを使用して生成されたドキュメントが表示されました。
ユーザーはどのドキュメントが好みかを示し、質問応答プロセスの経験についてフィードバックを提供しました。
この調査結果は、ドキュメントの好みと定性的なユーザー エクスペリエンスの両方において、質問をすることの明らかな利点を示しています。
さらにこの調査では、ユーザーは単純な情報収集の質問よりも、示唆に富む質問、自由回答の質問、またはユーザーのリクエストに対する独自の洞察を提供する質問に、より価値があると感じていることが示されています。

要約(オリジナル)

This study investigates the impact of Large Language Models (LLMs) generating follow-up questions in response to user requests for short (1-page) text documents. Users interacted with a novel web-based AI system designed to ask follow-up questions. Users requested documents they would like the AI to produce. The AI then generated follow-up questions to clarify the user’s needs or offer additional insights before generating the requested documents. After answering the questions, users were shown a document generated using both the initial request and the questions and answers, and a document generated using only the initial request. Users indicated which document they preferred and gave feedback about their experience with the question-answering process. The findings of this study show clear benefits to question-asking both in document preference and in the qualitative user experience. This study further shows that users found more value in questions which were thought-provoking, open-ended, or offered unique insights into the user’s request as opposed to simple information-gathering questions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google