A RAG-Based Institutional Assistant

要約

大規模な言語モデル（LLM）は強力なテキスト生成能力を示していますが、構造化された知識ベースまたは特定のドキュメントへのアクセスを必要とするシナリオで苦労し、知識集約型タスクの有効性を制限しています。
この制限に対処するために、検索された生成（RAG）モデルが開発されており、生成モデルが関連するドキュメントフラグメントを入力に組み込むことができます。
このペーパーでは、S \ 〜Ao Paulo大学専用のRAGベースの仮想アシスタントを設計および評価します。
システムアーキテクチャは、2つの重要なモジュールで構成されています。レトリバーと生成モデルです。
両方のコンポーネントのさまざまなタイプのモデルを実験し、チャンクサイズや取得したドキュメントの数などのハイパーパラメーターを調整します。
最適なレトリバーモデルは30％のトップ5精度を達成し、最も効果的な生成モデルスコアはグラウンドトゥルースの回答に対して22.04 \％です。
特に、正しいドキュメントチャンクがLLMSに供給されると、精度は54.02％に大幅に向上し、30パーセントポイントを超えて増加します。
逆に、コンテキスト入力がなければ、パフォーマンスは13.68％に低下します。
これらの調査結果は、LLMパフォーマンスの向上におけるデータベースアクセスの重要な役割を強調しています。
また、関連するドキュメントを正確に識別する現在のセマンティック検索方法の制限を明らかにし、LLMSが正確な応答を生成する際に継続的な課題を強調しています。

要約(オリジナル)

Although large language models (LLMs) demonstrate strong text generation capabilities, they struggle in scenarios requiring access to structured knowledge bases or specific documents, limiting their effectiveness in knowledge-intensive tasks. To address this limitation, retrieval-augmented generation (RAG) models have been developed, enabling generative models to incorporate relevant document fragments into their inputs. In this paper, we design and evaluate a RAG-based virtual assistant specifically tailored for the University of S\~ao Paulo. Our system architecture comprises two key modules: a retriever and a generative model. We experiment with different types of models for both components, adjusting hyperparameters such as chunk size and the number of retrieved documents. Our optimal retriever model achieves a Top-5 accuracy of 30%, while our most effective generative model scores 22.04\% against ground truth answers. Notably, when the correct document chunks are supplied to the LLMs, accuracy significantly improves to 54.02%, an increase of over 30 percentage points. Conversely, without contextual input, performance declines to 13.68%. These findings highlight the critical role of database access in enhancing LLM performance. They also reveal the limitations of current semantic search methods in accurately identifying relevant documents and underscore the ongoing challenges LLMs face in generating precise responses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google