Expanding before Inferring: Enhancing Factuality in Large Language Models through Premature Layers Interpolation

要約

大規模言語モデル(LLM)は、テキスト理解と生成において目覚ましい能力を発揮する。しかし、一般に”幻覚”と呼ばれる、事実と矛盾した出力を生成する傾向は、依然として重要な課題である。検索ベースや推論時間修正法などの既存のアプローチは、主に入力または出力レベルでこの問題に対処しており、本質的な情報洗練プロセスや未熟なレイヤーの役割を見落としていることが多い。一方、アライメントや微調整に基づく手法はリソース集約的である。本論文では、PLI(Premature Layers Interpolation)を提案する。PLIは、訓練不要で、プラグアンドプレイの新規介入手法であり、事実性を高めるように設計されている。PLIは、隣接するレイヤーとの数学的補間により形成された早すぎるレイヤーを挿入することで、幻覚を軽減する。PLIは、安定した拡散とサンプリングステップから着想を得て、LLMの情報処理と伝達の深さを拡張し、事実の一貫性を向上させる。公開されている4つのデータセットを用いた実験により、PLIはほとんどのケースで既存のベースラインを上回りながら、幻覚を効果的に減少させることが実証された。さらに分析を進めると、レイヤー補間の成功はLLMの内部メカニズムと密接に関連していることが示唆された。再現性を促進するために、我々のコードとデータは承認され次第公開する。

要約(オリジナル)

Large Language Models (LLMs) demonstrate remarkable capabilities in text understanding and generation. However, their tendency to produce factually inconsistent outputs, commonly referred to as ”hallucinations”, remains a critical challenge. Existing approaches, such as retrieval-based and inference-time correction methods, primarily address this issue at the input or output level, often overlooking the intrinsic information refinement process and the role of premature layers. Meanwhile, alignment- and fine-tuning-based methods are resource-intensive. In this paper, we propose PLI (Premature Layers Interpolation), a novel, training-free, and plug-and-play intervention designed to enhance factuality. PLI mitigates hallucinations by inserting premature layers formed through mathematical interpolation with adjacent layers. Inspired by stable diffusion and sampling steps, PLI extends the depth of information processing and transmission in LLMs, improving factual coherence. Experiments on four publicly available datasets demonstrate that PLI effectively reduces hallucinations while outperforming existing baselines in most cases. Further analysis suggests that the success of layer interpolation is closely linked to LLMs’ internal mechanisms. To promote reproducibility, we will release our code and data upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL