Quantifying and Attributing the Hallucination of Large Language Models via Association Analysis

要約

大規模言語モデル (LLM) はさまざまな NLP タスクで優れたパフォーマンスを示していますが、依然として幻覚の問題に悩まされており、LLM の信頼性が脅かされています。
LLM の幻覚のレベルを測定するために、以前の研究では、まず現象の類似性に基づいて幻覚を分類し、次にモデル出力に幻覚内容が含まれる割合を定量化しました。
ただし、そのような幻覚率は交絡因子によって簡単に歪められる可能性があります。
さらに、同様の幻覚現象が異なる原因から発生する可能性があるため、そのような幻覚率は幻覚の理由を反映することはできません。
これらの問題に対処するために、LLM の幻覚率と一連の危険因子との関係を構築する関連分析による幻覚レベルの定量化と幻覚理由の調査を組み合わせることを提案します。
このようにして、他の要因の交絡効果を排除しながら、各危険因子の各値における幻覚レベルを観察し、各危険因子の寄与と統計的有意性を調べることができます。
さらに、モデル能力の分類に従ってリスク要因を認識することにより、常識的な暗記、関係論的推論、および指示への従うことにおける一連の潜在的な欠陥が明らかになり、LLM の事前トレーニングおよび教師付き微調整プロセスの指針をさらに提供できる可能性があります。
幻覚を軽減します。

要約(オリジナル)

Although demonstrating superb performance on various NLP tasks, large language models (LLMs) still suffer from the hallucination problem, which threatens the reliability of LLMs. To measure the level of hallucination of LLMs, previous works first categorize the hallucination according to the phenomenon similarity, then quantify the proportion that model outputs contain hallucinatory contents. However, such hallucination rates could easily be distorted by confounders. Moreover, such hallucination rates could not reflect the reasons for the hallucination, as similar hallucinatory phenomena may originate from different sources. To address these issues, we propose to combine the hallucination level quantification and hallucination reason investigation through an association analysis, which builds the relationship between the hallucination rate of LLMs with a set of risk factors. In this way, we are able to observe the hallucination level under each value of each risk factor, examining the contribution and statistical significance of each risk factor, meanwhile excluding the confounding effect of other factors. Additionally, by recognizing the risk factors according to a taxonomy of model capability, we reveal a set of potential deficiencies in commonsense memorization, relational reasoning, and instruction following, which may further provide guidance for the pretraining and supervised fine-tuning process of LLMs to mitigate the hallucination.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google