Knowledge Retrieval Based on Generative AI

要約

この研究では、中国語の Wikipedia と Lawbank を検索ソースとして使用し、検索拡張生成 (RAG) に基づく質問応答システムを開発します。
TTQA と TMMLU+ を評価データセットとして使用するこのシステムは、高密度ベクトル検索に BGE-M3 を使用して関連性の高い検索結果を取得し、BGE-reranker を使用してクエリの関連性に基づいてこれらの結果を並べ替えます。
最も適切な検索結果は、大規模言語モデル (LLM) の参照知識として機能し、質問に答える能力を強化し、生成 AI に基づいた知識検索システムを確立します。
システムの有効性は、自動パフォーマンス評価と支援パフォーマンス評価の 2 段階の評価を通じて評価されます。
自動評価では、モデルの自動生成されたラベルとグラウンド トゥルースの回答を比較することで精度が計算され、人間の介入なしに標準化された条件下でパフォーマンスが測定されます。
支援型パフォーマンス評価には、財務関連の 20 問の多肢選択式の質問が含まれており、財務に関する知識のない 20 人の参加者が回答します。
最初は参加者が独立して回答します。
その後、回答を支援するためにシステムが生成した参照情報を受け取り、支援が提供されたときにシステムが精度を向上させるかどうかを調べます。
この研究の主な貢献は次のとおりです。 (1) LLM 機能の強化: BGE-M3 と BGE-reranker を統合することにより、システムは関連性の高い結果を取得して並べ替え、幻覚を軽減し、認可された知識ソースまたは公開知識ソースに動的にアクセスします。
(2) データ プライバシーの向上: カスタマイズされた RAG アーキテクチャにより、LLM のローカル操作が可能になり、プライベート データを外部サーバーに送信する必要がなくなります。
このアプローチにより、データ セキュリティが強化され、商用サービスへの依存が軽減され、運用コストが削減され、プライバシー リスクが軽減されます。

要約(オリジナル)

This study develops a question-answering system based on Retrieval-Augmented Generation (RAG) using Chinese Wikipedia and Lawbank as retrieval sources. Using TTQA and TMMLU+ as evaluation datasets, the system employs BGE-M3 for dense vector retrieval to obtain highly relevant search results and BGE-reranker to reorder these results based on query relevance. The most pertinent retrieval outcomes serve as reference knowledge for a Large Language Model (LLM), enhancing its ability to answer questions and establishing a knowledge retrieval system grounded in generative AI. The system’s effectiveness is assessed through a two-stage evaluation: automatic and assisted performance evaluations. The automatic evaluation calculates accuracy by comparing the model’s auto-generated labels with ground truth answers, measuring performance under standardized conditions without human intervention. The assisted performance evaluation involves 20 finance-related multiple-choice questions answered by 20 participants without financial backgrounds. Initially, participants answer independently. Later, they receive system-generated reference information to assist in answering, examining whether the system improves accuracy when assistance is provided. The main contributions of this research are: (1) Enhanced LLM Capability: By integrating BGE-M3 and BGE-reranker, the system retrieves and reorders highly relevant results, reduces hallucinations, and dynamically accesses authorized or public knowledge sources. (2) Improved Data Privacy: A customized RAG architecture enables local operation of the LLM, eliminating the need to send private data to external servers. This approach enhances data security, reduces reliance on commercial services, lowers operational costs, and mitigates privacy risks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google