Generative Language Models with Retrieval Augmented Generation for Automated Short Answer Scoring

要約

自動短答採点 (ASAS) は、教育評価における重要な要素です。
従来の ASAS システムはルールベースのアルゴリズムや複雑な深層学習手法に依存していましたが、生成言語モデル (GLM) の最近の進歩により、新たな改善の機会が提供されています。
この調査では、さまざまなドメインで既製の機能とパフォーマンスを活用して、GLM の ASAS への適用を検討します。
私たちは、ベクトル データベース、トランスフォーマー ベースのエンコーダー、GLM を組み合わせて短答採点の精度を高める新しいパイプラインを提案します。
私たちのアプローチでは、トレーニング応答をベクトル データベースに保存し、推論中に意味的に類似した応答を取得し、GLM を使用してこれらの応答を分析して適切なスコアを決定します。
微調整された検索プロセスと迅速なエンジニアリングを通じてシステムをさらに最適化します。
SemEval 2013 データセットの評価では、既存の手法と比較して SCIENTSBANK の 3 方向および 2 方向タスクが大幅に改善されていることが実証され、ASAS テクノロジーの進歩における GLM の可能性が強調されています。

要約(オリジナル)

Automated Short Answer Scoring (ASAS) is a critical component in educational assessment. While traditional ASAS systems relied on rule-based algorithms or complex deep learning methods, recent advancements in Generative Language Models (GLMs) offer new opportunities for improvement. This study explores the application of GLMs to ASAS, leveraging their off-the-shelf capabilities and performance in various domains. We propose a novel pipeline that combines vector databases, transformer-based encoders, and GLMs to enhance short answer scoring accuracy. Our approach stores training responses in a vector database, retrieves semantically similar responses during inference, and employs a GLM to analyze these responses and determine appropriate scores. We further optimize the system through fine-tuned retrieval processes and prompt engineering. Evaluation on the SemEval 2013 dataset demonstrates a significant improvement on the SCIENTSBANK 3-way and 2-way tasks compared to existing methods, highlighting the potential of GLMs in advancing ASAS technology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google