Scaffolding Language Learning via Multi-modal Tutoring Systems with Pedagogical Instructions

要約

人間のチューターを模倣し、学習者に即座にカスタマイズされた指示やフィードバックを提供することを目的とした知的チューターシステム（ITS）は、教育においてその有効性を示してきた。生成的人工知能の出現により、大規模言語モデル（LLM）はさらに複雑で首尾一貫した会話インタラクションを可能にする。このようなシステムは、言語教育において、コミュニケーション能力の発達に大きく役立つだろう。さらに、低年齢では認知の発達が複雑なため、実用化にはさらなる努力が必要である。スキャフォールディング（Scaffolding）とは、新しい概念や技能の学習・発達のために、教師が生徒を支援・指導する教育技法のことである。多様な学習ニーズ、目標、プロセス、結果をサポートする効果的な方法である。本研究では、言語学習のためのイメージ描写を児童に指導するケーススタディを実施することで、ITSにおける教育的指示がどのようにスキャフォールディングを促進するかを調査する。我々は、知識構築、探究型学習、対話型教授、および近位発達領域という4つの基本的な学習理論に基づき、様々なタイプの足場となる個別指導システムを構築した。質的および量的分析のために、足場構築プロセスを評価するための7次元ルーブリックを構築し、改良する。GPT-4Vを用いた実験では、LLMが教育的指示に従い、様々な生徒グループにおいて自分のペースで学習を進める強い可能性を示すことが観察された。さらに、我々の評価フレームワークを手動から自動アプローチに拡張し、様々な会話型チュータリングシステムのベンチマークへの道を開く。

要約(オリジナル)

Intelligent tutoring systems (ITSs) that imitate human tutors and aim to provide immediate and customized instructions or feedback to learners have shown their effectiveness in education. With the emergence of generative artificial intelligence, large language models (LLMs) further entitle the systems to complex and coherent conversational interactions. These systems would be of great help in language education as it involves developing skills in communication, which, however, drew relatively less attention. Additionally, due to the complicated cognitive development at younger ages, more endeavors are needed for practical uses. Scaffolding refers to a teaching technique where teachers provide support and guidance to students for learning and developing new concepts or skills. It is an effective way to support diverse learning needs, goals, processes, and outcomes. In this work, we investigate how pedagogical instructions facilitate the scaffolding in ITSs, by conducting a case study on guiding children to describe images for language learning. We construct different types of scaffolding tutoring systems grounded in four fundamental learning theories: knowledge construction, inquiry-based learning, dialogic teaching, and zone of proximal development. For qualitative and quantitative analyses, we build and refine a seven-dimension rubric to evaluate the scaffolding process. In our experiment on GPT-4V, we observe that LLMs demonstrate strong potential to follow pedagogical instructions and achieve self-paced learning in different student groups. Moreover, we extend our evaluation framework from a manual to an automated approach, paving the way to benchmark various conversational tutoring systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL