Knowledge Tagging with Large Language Model based Multi-Agent System

要約

質問に対する知識のタグ付けは、学習進捗状況の診断、練習問題の推奨、コース コンテンツの編成など、最新のインテリジェントな教育アプリケーションにおいて不可欠です。
従来、これらの注釈は教育学の専門家によって行われてきました。この作業には、質問文や知識の定義を意味的に深く理解するだけでなく、問題解決ロジックを関連する知識概念と結び付ける強力な能力も必要とされるためです。
事前トレーニング済み言語モデルや大規模言語モデル (LLM) などの高度な自然言語処理 (NLP) アルゴリズムの出現に伴い、先駆的な研究では、さまざまな機械学習モデルを使用した知識タグ付けプロセスの自動化が検討されています。
この論文では、特に複雑な知識定義と厳密な数値制約を含む複雑なケースの処理において、以前のアルゴリズムの限界に対処するためのマルチエージェント システムの使用を調査します。
公開されている数学の質問知識タグ付けデータセットである MathKnowCT でその優れたパフォーマンスを実証することで、以前の方法が直面した課題を克服する上で LLM ベースのマルチエージェント システムの大きな可能性を強調します。
最後に、知識のタグ付けを自動化することの影響についての詳細な議論を通じて、LLM ベースのアルゴリズムを教育現場に導入することの有望な結果を強調します。

要約(オリジナル)

Knowledge tagging for questions is vital in modern intelligent educational applications, including learning progress diagnosis, practice question recommendations, and course content organization. Traditionally, these annotations have been performed by pedagogical experts, as the task demands not only a deep semantic understanding of question stems and knowledge definitions but also a strong ability to link problem-solving logic with relevant knowledge concepts. With the advent of advanced natural language processing (NLP) algorithms, such as pre-trained language models and large language models (LLMs), pioneering studies have explored automating the knowledge tagging process using various machine learning models. In this paper, we investigate the use of a multi-agent system to address the limitations of previous algorithms, particularly in handling complex cases involving intricate knowledge definitions and strict numerical constraints. By demonstrating its superior performance on the publicly available math question knowledge tagging dataset, MathKnowCT, we highlight the significant potential of an LLM-based multi-agent system in overcoming the challenges that previous methods have encountered. Finally, through an in-depth discussion of the implications of automating knowledge tagging, we underscore the promising results of deploying LLM-based algorithms in educational contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google