GPT-3-driven pedagogical agents for training children’s curious question-asking skills

要約

好奇心に駆られた質問をする子供の能力を訓練するために、以前の研究では、そのような質問を定式化するのに役立つ意味的および言語的手がかりを提供することに依存する特定の演習を設計することが調査されました.
しかし、教育的な効率性を示しているにもかかわらず、この方法は依然として制限されています。これは、非常にコストのかかるプロセスになる可能性がある手がかりを手動で生成することに依存しているためです。
これに関連して、自然言語処理分野 (NLP) の進歩を活用し、好奇心旺盛な質問 (QA) トレーニングの教育的コンテンツの生成を自動化するために大規模言語モデル (LLM) を使用する効率を調査することを提案します。
LLMにタスクを自然なテキストで説明する「プロンプトベース」の方法を使用して、上記のコンテンツを生成することを研究しています。
人間の専門家の注釈と手動で生成されたコンテンツとの比較を使用して、出力を評価します。
結果は、このコンテンツの関連性と有用性を確かに示唆しました。
また、小学校 (9 ～ 10 歳の 75 人の子供) でフィールド スタディを実施し、このトレーニングを受けた子供の QA パフォーマンスを評価します。
3 種類のコンテンツを比較します。1) 事前定義された質問につながる「閉じた」合図を提案する手動生成コンテンツ。
2) 同じタイプの手がかりを提案する GPT-3 生成コンテンツ。
3) GPT-3 によって生成されたコンテンツで、いくつかの可能性のある質問につながる「オープンな」手がかりを提案します。
2 つの「クローズド」トレーニング間で同様の QA パフォーマンスが見られ (GPT-3 を使用したアプローチのスケーラビリティを示しています)、「オープン」トレーニングの参加者の方が優れています。
これらの結果は、LLM を使用して、教師や AI 技術の専門家ではない他のユーザーが使いやすい自然言語プロンプト アプローチを使用して、子供たちがより好奇心旺盛な質問を生成できるようにサポートすることの効率性を示唆しています。
さらに、結果はまた、オープンエンドのコンテンツが好奇心旺盛な質問スキルのトレーニングに適している可能性があることも示しています.

要約(オリジナル)

In order to train children’s ability to ask curiosity-driven questions, previous research has explored designing specific exercises relying on providing semantic and linguistic cues to help formulate such questions. But despite showing pedagogical efficiency, this method is still limited as it relies on generating the said cues by hand, which can be a very costly process. In this context, we propose to leverage advances in the natural language processing field (NLP) and investigate the efficiency of using a large language model (LLM) for automating the production of the pedagogical content of a curious question-asking (QA) training. We study generating the said content using the ‘prompt-based’ method that consists of explaining the task to the LLM in natural text. We evaluate the output using human experts annotations and comparisons with hand-generated content. Results suggested indeed the relevance and usefulness of this content. We also conduct a field study in primary school (75 children aged 9-10), where we evaluate children’s QA performance when having this training. We compare 3 types of content : 1) hand-generated content that proposes ‘closed’ cues leading to predefined questions; 2) GPT-3-generated content that proposes the same type of cues; 3) GPT-3-generated content that proposes ‘open’ cues leading to several possible questions. We see a similar QA performance between the two ‘closed’ trainings (showing the scalability of the approach using GPT-3), and a better one for participants with the ‘open’ training. These results suggest the efficiency of using LLMs to support children in generating more curious questions, using a natural language prompting approach that affords usability by teachers and other users not specialists of AI techniques. Furthermore, results also show that open-ended content may be more suitable for training curious question-asking skills.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google