Active Layer-Contrastive Decoding Reduces Hallucination in Large Language Model Generation

要約

最近のデコード方法は、大規模な言語モデル〜（LLMS）の事実を改善します。
これらの方法は通常、トークンレベルで動作し、内部表現を活用して表面的なパターンを抑制します。
それにもかかわらず、LLMは、特に長いコンテキストで幻覚を起こしやすいままです。
この論文では、生成中に対照的なレイヤーをいつ適用するかを積極的に決定する新しいデコード戦略であるアクティブレイヤー制御デコード（ACTLCD）を提案します。
Decodingを連続する意思決定の問題として鋳造することにより、ATLCDは、トークンレベルを超えて事実を最適化するために報酬を受け取る分類器に導かれた強化学習ポリシーを採用しています。
私たちの実験は、Actlcdが5つのベンチマークにわたって最先端の方法を上回ることを示しており、多様な世代シナリオでの幻覚を緩和する際の有効性を示しています。

要約(オリジナル)

Recent decoding methods improve the factuality of large language models~(LLMs) by refining how the next token is selected during generation. These methods typically operate at the token level, leveraging internal representations to suppress superficial patterns. Nevertheless, LLMs remain prone to hallucinations, especially over longer contexts. In this paper, we propose Active Layer-Contrastive Decoding (ActLCD), a novel decoding strategy that actively decides when to apply contrasting layers during generation. By casting decoding as a sequential decision-making problem, ActLCD employs a reinforcement learning policy guided by a reward-aware classifier to optimize factuality beyond the token level. Our experiments demonstrate that ActLCD surpasses state-of-the-art methods across five benchmarks, showcasing its effectiveness in mitigating hallucinations in diverse generation scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google