GPT-3-driven pedagogical agents for training children’s curious question-asking skills

要約

好奇心に基づいて質問する子供の能力を訓練するために、以前の研究では、そのような質問を定式化するのに役立つ意味論的および言語的手がかりの提供に依存して、特定の演習を設計することが検討されてきました。
しかし、この方法は教育的効率が示されているにもかかわらず、上記の手がかりを手動で生成することに依存しているため、依然として限界があり、これは非常にコストのかかるプロセスになる可能性があります。
これに関連して、自然言語処理分野 (NLP) の進歩を活用し、興味深い質問 (QA) トレーニングの教育コンテンツの作成を自動化するために大規模言語モデル (LLM) を使用する効率を調査することを提案します。
私たちは、LLM にタスクを自然テキストで説明する「プロンプトベース」の方法を使用して、上記のコンテンツを生成することを研究しています。
人間の専門家による注釈と、手作業で生成されたコンテンツとの比較を使用して、出力を評価します。
結果は、実際にこのコンテンツの関連性と有用性を示唆しました。
また、小学校 (9 ～ 10 歳の児童 75 人) でのフィールド調査も実施し、このトレーニングを受ける際の児童の QA パフォーマンスを評価します。
3 種類のコンテンツを比較します。1) 事前に定義された質問につながる「閉じられた」手がかりを提案する手動で生成されたコンテンツ。
2) 同じタイプのキューを提案する GPT-3 生成コンテンツ。
3) GPT-3 によって生成されたコンテンツ。いくつかの考えられる質問につながる「オープンな」手がかりを提案します。
2 つの「クローズド」トレーニング間では同様の QA パフォーマンスが見られますが (GPT-3 を使用したアプローチのスケーラビリティを示しています)、「オープン」トレーニングの参加者では QA パフォーマンスが向上しています。
これらの結果は、教師や AI 技術の専門家ではない他のユーザーにも使いやすい自然言語を促すアプローチを使用して、子どもたちがより好奇心旺盛な質問を生み出すことをサポートするために LLM を使用することが効率的であることを示唆しています。
さらに、調査結果は、自由回答型のコンテンツが好奇心をそそる質問スキルを訓練するのにより適している可能性があることも示しています。

要約(オリジナル)

In order to train children’s ability to ask curiosity-driven questions, previous research has explored designing specific exercises relying on providing semantic and linguistic cues to help formulate such questions. But despite showing pedagogical efficiency, this method is still limited as it relies on generating the said cues by hand, which can be a very costly process. In this context, we propose to leverage advances in the natural language processing field (NLP) and investigate the efficiency of using a large language model (LLM) for automating the production of the pedagogical content of a curious question-asking (QA) training. We study generating the said content using the ‘prompt-based’ method that consists of explaining the task to the LLM in natural text. We evaluate the output using human experts annotations and comparisons with hand-generated content. Results suggested indeed the relevance and usefulness of this content. We also conduct a field study in primary school (75 children aged 9-10), where we evaluate children’s QA performance when having this training. We compare 3 types of content : 1) hand-generated content that proposes ‘closed’ cues leading to predefined questions; 2) GPT-3-generated content that proposes the same type of cues; 3) GPT-3-generated content that proposes ‘open’ cues leading to several possible questions. We see a similar QA performance between the two ‘closed’ trainings (showing the scalability of the approach using GPT-3), and a better one for participants with the ‘open’ training. These results suggest the efficiency of using LLMs to support children in generating more curious questions, using a natural language prompting approach that affords usability by teachers and other users not specialists of AI techniques. Furthermore, results also show that open-ended content may be more suitable for training curious question-asking skills.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google