What is a Good Question? Utility Estimation with LLM-based Simulations

要約

質問をすることは、より深い理解を促進する学習の基本的な側面です。
ただし、学習を効果的に改善する質問を特徴付けて作成することはとらえどころのないままです。
このギャップに対処するために、クエスト（シミュレートされたテストを使用した質問ユーティリティの推定）を提案します。
クエストは、学習成果の改善への直接的な影響に基づいて、質問の有用性の定量化を可能にする学習環境をシミュレートします。
さらに、高性能の質問を特定し、それらを使用して拒否サンプリングで質問生成モデルを微調整できます。
質問ユーティリティに基づいて拒否サンプリングで訓練されたモデルによって生成された質問は、教育目標の文献に基づいた専門のプロンプトと、質問の質の間接的な測定値で微調整されたモデルなどの専門的なプロンプトからの試験スコアよりも少なくとも20％高い試験スコアの結果を得ることがわかります。
顕著性と予想される情報が得られるように。

要約(オリジナル)

Asking questions is a fundamental aspect of learning that facilitates deeper understanding. However, characterizing and crafting questions that effectively improve learning remains elusive. To address this gap, we propose QUEST (Question Utility Estimation with Simulated Tests). QUEST simulates a learning environment that enables the quantification of a question’s utility based on its direct impact on improving learning outcomes. Furthermore, we can identify high-utility questions and use them to fine-tune question generation models with rejection sampling. We find that questions generated by models trained with rejection sampling based on question utility result in exam scores that are higher by at least 20% than those from specialized prompting grounded on educational objectives literature and models fine-tuned with indirect measures of question quality, such as saliency and expected information gain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google