Banishing LLM Hallucinations Requires Rethinking Generalization

要約

大規模言語モデル (LLM) は、強力なチャット、コーディング、推論能力にもかかわらず、頻繁に幻覚を起こします。
従来の通念では、幻覚は創造性と事実性の間のバランスの結果であり、LLM を外部の知識源に基づいて確立することで、軽減することはできますが、排除することはできないと考えられています。
広範な体系的な実験を通じて、これらの従来のアプローチではLLMが実際に幻覚を起こす理由を説明できないことを示しました。
具体的には、大規模な Mixture of Memory Experts (MoME) で強化された LLM が、乱数の大規模なデータセットを簡単に記憶できることを示します。
これらの実験結果は、次のトークンを予測するように訓練された単純なニューラル ネットワークが、インターネット規模のデータで訓練する場合に実際に通常行われるように、訓練損失がしきい値を超えると幻覚を起こすことを示す理論的構築で裏付けられます。
私たちは、幻覚を軽減するための従来の検索方法と比較することによって、私たちの発見を解釈します。
私たちはその発見を利用して、幻覚を除去するための第一世代モデルである Lamini-1 を設計します。このモデルは、動的に取得される何百万もの記憶専門家の大規模な混合に事実を保存します。

要約(オリジナル)

Despite their powerful chat, coding, and reasoning abilities, Large Language Models (LLMs) frequently hallucinate. Conventional wisdom suggests that hallucinations are a consequence of a balance between creativity and factuality, which can be mitigated, but not eliminated, by grounding the LLM in external knowledge sources. Through extensive systematic experiments, we show that these traditional approaches fail to explain why LLMs hallucinate in practice. Specifically, we show that LLMs augmented with a massive Mixture of Memory Experts (MoME) can easily memorize large datasets of random numbers. We corroborate these experimental findings with a theoretical construction showing that simple neural networks trained to predict the next token hallucinate when the training loss is above a threshold as it usually does in practice when training on internet scale data. We interpret our findings by comparing against traditional retrieval methods for mitigating hallucinations. We use our findings to design a first generation model for removing hallucinations — Lamini-1 — that stores facts in a massive mixture of millions of memory experts that are retrieved dynamically.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google