CIKMar: A Dual-Encoder Approach to Prompt-Based Reranking in Educational Dialogue Systems

要約

この研究では、Gemma 言語モデルを活用した教育対話システムへの効率的なアプローチである CIKMar を紹介します。
BERT モデルと SBERT モデルの両方を組み込んだデュアル エンコーダ ランキング システムを活用することで、言語モデル サイズが小さいという制約がある場合でも、関連性の高い正確な応答を提供できるように CIKMar を設計しました。
私たちの評価では、CIKMar が BERTScore メトリクスを使用して堅牢なリコールと 0.70 の F1 スコアを達成していることが明らかになりました。
しかし、私たちは重大な課題を特定しました。それは、デュアル エンコーダーは実際的な応答よりも理論的な応答を優先する傾向があるということです。
これらの発見は、高度な教育 AI システムへのアクセスを民主化し、効果的で状況に応じて適切な対応を保証する上で、Gemma のようなコンパクトで効率的なモデルの可能性を強調しています。

要約(オリジナル)

In this study, we introduce CIKMar, an efficient approach to educational dialogue systems powered by the Gemma Language model. By leveraging a Dual-Encoder ranking system that incorporates both BERT and SBERT model, we have designed CIKMar to deliver highly relevant and accurate responses, even with the constraints of a smaller language model size. Our evaluation reveals that CIKMar achieves a robust recall and F1-score of 0.70 using BERTScore metrics. However, we have identified a significant challenge: the Dual-Encoder tends to prioritize theoretical responses over practical ones. These findings underscore the potential of compact and efficient models like Gemma in democratizing access to advanced educational AI systems, ensuring effective and contextually appropriate responses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google