Ancient Wisdom, Modern Tools: Exploring Retrieval-Augmented LLMs for Ancient Indian Philosophy

要約

LLM は、情報検索と知識普及の状況に革命をもたらしました。
しかし、専門分野への応用は、特にロングテールの知識配布において、事実の不正確さや幻覚によって妨げられることがよくあります。
私たちは、専門知識領域における長文質問応答 (LFQA) のための検索拡張生成 (RAG) モデルの可能性を探ります。
私たちは、古代インドの哲学であるアドヴァイタ ヴェダンタに関する広範な公開討論から厳選されたデータセット、VedantaNY-10M を紹介します。
私たちは、転写、検索、生成のパフォーマンスに焦点を当てて、標準の非 RAG LLM に対して RAG モデルを開発およびベンチマークします。
計算言語学者や分野専門家による人による評価では、RAG モデルが幻覚の少ない事実に基づいた包括的な応答を生成する点で標準モデルよりも大幅に優れていることが示されています。
さらに、固有の低頻度用語を強調するキーワードベースのハイブリッド検索機能により、結果がさらに向上します。
私たちの研究は、現代の大規模言語モデルと古代の知識システムを効果的に統合するための洞察を提供します。
データセットとコードを含むプロジェクト ページ: https://sites.google.com/view/vedantany-10m

要約(オリジナル)

LLMs have revolutionized the landscape of information retrieval and knowledge dissemination. However, their application in specialized areas is often hindered by factual inaccuracies and hallucinations, especially in long-tail knowledge distributions. We explore the potential of retrieval-augmented generation (RAG) models for long-form question answering (LFQA) in a specialized knowledge domain. We present VedantaNY-10M, a dataset curated from extensive public discourses on the ancient Indian philosophy of Advaita Vedanta. We develop and benchmark a RAG model against a standard, non-RAG LLM, focusing on transcription, retrieval, and generation performance. Human evaluations by computational linguists and domain experts show that the RAG model significantly outperforms the standard model in producing factual and comprehensive responses having fewer hallucinations. In addition, a keyword-based hybrid retriever that emphasizes unique low-frequency terms further improves results. Our study provides insights into effectively integrating modern large language models with ancient knowledge systems. Project page with dataset and code: https://sites.google.com/view/vedantany-10m

arxiv情報

提供元, 利用サービス

arxiv.jp, Google