URAG: Implementing a Unified Hybrid RAG for Precise Answers in University Admission Chatbots — A Case Study at HCMUT

要約

特に自然言語加工における人工知能の急速な進歩により、大規模な言語モデル（LLM）は、特に大学の入学チャットボット、特に大学の入学チャットボットにおいて極めて重要になりました。
検索された生成（RAG）やその他の高度な技術などの概念は、特定の大学データを統合してこれらのシステムを強化し、LLMが入学と学術カウンセリングに関する情報に基づいた回答を提供できるように開発されました。
ただし、これらの強化されたRAG技術には、多くの場合、運用コストが高く、複雑で特殊なモジュールのトレーニングが必要であり、実際の展開に課題をもたらします。
さらに、教育の文脈では、LLMベースのシステムが適切な戦略や方法なしで挑戦的であると感じる誤った情報を防ぐための正確な答えを提供することが重要です。
この論文では、特に重要なクエリのために、応答の精度を大幅に向上させるハイブリッドアプローチである統一されたRAG（URAG）フレームワークを紹介します。
実験結果は、UR​​AGが社内で軽量モデルを強化して、最先端の商業モデルに匹敵することを示しています。
さらに、その実用的な適用性を検証するために、肯定的なフィードバックと称賛を受けた教育機関でケーススタディを実施しました。
この研究は、URAGの有効性を証明するだけでなく、教育環境での実際の実装の実現可能性も強調しています。

要約(オリジナル)

With the rapid advancement of Artificial Intelligence, particularly in Natural Language Processing, Large Language Models (LLMs) have become pivotal in educational question-answering systems, especially university admission chatbots. Concepts such as Retrieval-Augmented Generation (RAG) and other advanced techniques have been developed to enhance these systems by integrating specific university data, enabling LLMs to provide informed responses on admissions and academic counseling. However, these enhanced RAG techniques often involve high operational costs and require the training of complex, specialized modules, which poses challenges for practical deployment. Additionally, in the educational context, it is crucial to provide accurate answers to prevent misinformation, a task that LLM-based systems find challenging without appropriate strategies and methods. In this paper, we introduce the Unified RAG (URAG) Framework, a hybrid approach that significantly improves the accuracy of responses, particularly for critical queries. Experimental results demonstrate that URAG enhances our in-house, lightweight model to perform comparably to state-of-the-art commercial models. Moreover, to validate its practical applicability, we conducted a case study at our educational institution, which received positive feedback and acclaim. This study not only proves the effectiveness of URAG but also highlights its feasibility for real-world implementation in educational settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google