LLM-Driven Personalized Answer Generation and Evaluation

要約

オンライン学習は、柔軟性とアクセシビリティにより急速な成長を経験しています。
個々の学習者のニーズに合わせたパーソナライズは、特にオンライン設定で学習体験を向上させるために重要です。
パーソナライズの重要な側面は、学習者に特定の質問にカスタマイズされた回答を提供することです。
したがって、このホワイトペーパーでは、学習者の質問に対するパーソナライズされた回答を生成するための大規模な言語モデル（LLM）の可能性を調査し、それによりエンゲージメントを高め、教育者のワークロードを減らします。
このコンテキストでLLMSの有効性を評価するために、言語学習とプログラミングという2つの異なる分野でstackexchangeプラットフォームを使用して包括的な研究を実施しました。
自動的に生成されたパーソナライズされた回答を検証するためのフレームワークとデータセットを開発しました。
その後、0ショット、1ショット、少ないショットシナリオなど、さまざまな戦略を使用してパーソナライズされた回答を生成しました。
生成された回答は、3つの方法の3つの方法を使用して評価されました。1。BERTSCORE、2。LLM評価、および3つの人間の評価。
私たちの調査結果は、LLMSに望ましい回答の例（学習者または同様の学習者から）を提供することで、個々の学習者のニーズに合わせて応答を調整するLLMの能力を大幅に向上させることができることを示しています。

要約(オリジナル)

Online learning has experienced rapid growth due to its flexibility and accessibility. Personalization, adapted to the needs of individual learners, is crucial for enhancing the learning experience, particularly in online settings. A key aspect of personalization is providing learners with answers customized to their specific questions. This paper therefore explores the potential of Large Language Models (LLMs) to generate personalized answers to learners’ questions, thereby enhancing engagement and reducing the workload on educators. To evaluate the effectiveness of LLMs in this context, we conducted a comprehensive study using the StackExchange platform in two distinct areas: language learning and programming. We developed a framework and a dataset for validating automatically generated personalized answers. Subsequently, we generated personalized answers using different strategies, including 0-shot, 1-shot, and few-shot scenarios. The generated answers were evaluated using three methods: 1. BERTScore, 2. LLM evaluation, and 3. human evaluation. Our findings indicated that providing LLMs with examples of desired answers (from the learner or similar learners) can significantly enhance the LLMs’ ability to tailor responses to individual learners’ needs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google