Halo: Estimation and Reduction of Hallucinations in Open-Source Weak Large Language Models

要約

大規模言語モデル (LLM) は、自然言語処理 (NLP) に革命をもたらしました。
研究や実用的なアプリケーションには便利ですが、パラメータが少ないオープンソース LLM は、大規模な対応物と比較して重度の幻覚に悩まされることがよくあります。
この論文は、研究および商用アプリケーションに公開されている、このような弱いオープンソース LLM の代表である BLOOM 7B における幻覚の測定と軽減に焦点を当てています。
LLM の幻覚の重症度を定量化するために設計された軽量の BlackBox 知識不要フレームワークである HaloCheck を紹介します。
さらに、低パラメータ LLM の幻覚を軽減するための知識注入や教師と生徒のアプローチなどの手法を探索します。
私たちの実験は、これらの LLM にとって困難な領域における幻覚の減少を効果的に実証しています。

要約(オリジナル)

Large Language Models (LLMs) have revolutionized Natural Language Processing (NLP). Although convenient for research and practical applications, open-source LLMs with fewer parameters often suffer from severe hallucinations compared to their larger counterparts. This paper focuses on measuring and reducing hallucinations in BLOOM 7B, a representative of such weaker open-source LLMs that are publicly available for research and commercial applications. We introduce HaloCheck, a lightweight BlackBox knowledge-free framework designed to quantify the severity of hallucinations in LLMs. Additionally, we explore techniques like knowledge injection and teacher-student approaches to alleviate hallucinations in low-parameter LLMs. Our experiments effectively demonstrate the reduction of hallucinations in challenging domains for these LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google