PhysicsAssistant: An LLM-Powered Interactive Learning Robot for Physics Lab Investigations

要約

教育におけるロボット システムは、大規模言語モデル (LLM) の自然言語理解機能を活用して、支援を提供し、学習を促進できます。
この論文では、YOLOv8 オブジェクト検出、カメラ、音声認識、LLM を使用したチャットボットを基盤として構築され、学生の物理実験室を支援するマルチモーダル対話型ロボット (PhysicsAssistant) を提案します。
私たちは、人間の専門家とともに PhysicsAssistant のパフォーマンスを実証的に評価するために、10 人の 8 年生の生徒を対象にユーザー調査を実施しました。
エキスパートは、教育サポートを提供するために、ブルームの分類法に基づいて、生徒の質問に対するアシスタントの応答を 0 から 4 のスケールで評価します。
PhysicsAssistant (YOLOv8+GPT-3.5-turbo) のパフォーマンスを GPT-4 と比較したところ、事実の理解に関する両システムの専門家による評価は同じであることがわかりました。
ただし、概念的知識と手順知識に関する GPT-4 の評価 (それぞれ 3 と 3.2 対 2.2 と 2.6) は、PhysicsAssistant よりも大幅に高くなっています (p < 0.05)。 ただし、GPT-4 の応答時間は PhysicsAssistant よりも大幅に長くなります (3.54 秒 vs 1.64 秒、p < 0.05)。 したがって、PhysicsAssistant の応答品質は GPT-4 よりも相対的に低いにもかかわらず、タイムリーな応答を提供するリアルタイムのラボ アシスタントとして使用できる可能性が示されており、反復的なタスクを支援する教師の労力を軽減できます。 私たちの知る限り、これは幼稚園から高校までの科学 (物理) 教育向けにこのような対話型のマルチモーダルなロボット アシスタントを構築する最初の試みです。

要約(オリジナル)

Robot systems in education can leverage Large language models’ (LLMs) natural language understanding capabilities to provide assistance and facilitate learning. This paper proposes a multimodal interactive robot (PhysicsAssistant) built on YOLOv8 object detection, cameras, speech recognition, and chatbot using LLM to provide assistance to students’ physics labs. We conduct a user study on ten 8th-grade students to empirically evaluate the performance of PhysicsAssistant with a human expert. The Expert rates the assistants’ responses to student queries on a 0-4 scale based on Bloom’s taxonomy to provide educational support. We have compared the performance of PhysicsAssistant (YOLOv8+GPT-3.5-turbo) with GPT-4 and found that the human expert rating of both systems for factual understanding is the same. However, the rating of GPT-4 for conceptual and procedural knowledge (3 and 3.2 vs 2.2 and 2.6, respectively) is significantly higher than PhysicsAssistant (p < 0.05). However, the response time of GPT-4 is significantly higher than PhysicsAssistant (3.54 vs 1.64 sec, p < 0.05). Hence, despite the relatively lower response quality of PhysicsAssistant than GPT-4, it has shown potential for being used as a real-time lab assistant to provide timely responses and can offload teachers' labor to assist with repetitive tasks. To the best of our knowledge, this is the first attempt to build such an interactive multimodal robotic assistant for K-12 science (physics) education.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google