Alleviating Hallucinations in Large Language Models with Scepticism Modeling

要約

幻覚は大規模言語モデル (LLM) にとって大きな課題であり、さまざまな分野での採用を妨げています。
不確実性の推定は、幻覚の被害を軽減するために使用できる可能性があります。
人間の懐疑的な感情は、自己評価能力を高めるのに役立つ可能性があります。
この観察に触発されて、私たちは懐疑主義モデリング (SM) と呼ばれる新しいアプローチを提案しました。
このアプローチは、自己推定のためのトークンとロジットの情報を組み合わせることによって形式化されます。
私たちは、疑いの感情を認識したデータを構築し、継続的な事前トレーニングを実行してから、LLM を微調整して、自己評価の能力を向上させます。
実験結果は、この新しいアプローチがモデルの不確実性を推定する能力を効果的に強化し、領域外の実験によって他のタスクの汎化能力を検証することを示しています。

要約(オリジナル)

Hallucinations is a major challenge for large language models (LLMs), prevents adoption in diverse fields. Uncertainty estimation could be used for alleviating the damages of hallucinations. The skeptical emotion of human could be useful for enhancing the ability of self estimation. Inspirited by this observation, we proposed a new approach called Skepticism Modeling (SM). This approach is formalized by combining the information of token and logits for self estimation. We construct the doubt emotion aware data, perform continual pre-training, and then fine-tune the LLMs, improve their ability of self estimation. Experimental results demonstrate this new approach effectively enhances a model’s ability to estimate their uncertainty, and validate its generalization ability of other tasks by out-of-domain experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google