IRCAN: Mitigating Knowledge Conflicts in LLM Generation via Identifying and Reweighting Context-Aware Neurons

要約

大規模言語モデル (LLM) は、大量のデータでトレーニングされた後、膨大な知識の宝庫をエンコードすることは広く知られています。
最近の研究では、LLM 生成における知識の衝突が明らかになり、時代遅れまたは不正確なパラメトリック知識 (つまり、エンコードされた知識) が、コンテキスト内で提供される新しい知識と矛盾します。
このような知識の衝突を軽減するために、私たちは、コンテキスト キューの処理に重要なニューロンを活用する新しいフレームワーク IRCAN (Identifying and Reweighting Context-Aware Neurons) を提案します。
具体的には、IRCAN はまず、統合された勾配から導出されたコンテキスト認識アトリビューション スコアを利用して、コンテキスト処理に大きく寄与するニューロンを特定します。
その後、特定されたコンテキスト認識ニューロンが再重み付けによって強化されます。
そうすることで、コンテキスト内で提供される新しい知識に関してコンテキスト依存の出力を生成するように LLM を操作します。
さまざまなモデルやタスクにわたって行われた広範な実験により、IRCAN は知識の競合の処理において顕著な改善を達成するだけでなく、既存のモデルとシームレスに統合できるスケーラブルなプラグアンドプレイ ソリューションも提供することが実証されました。
私たちのコードは https://github.com/danshi777/IRCAN で公開されています。

要約(オリジナル)

It is widely acknowledged that large language models (LLMs) encode a vast reservoir of knowledge after being trained on mass data. Recent studies disclose knowledge conflicts in LLM generation, wherein outdated or incorrect parametric knowledge (i.e., encoded knowledge) contradicts new knowledge provided in the context. To mitigate such knowledge conflicts, we propose a novel framework, IRCAN (Identifying and Reweighting Context-Aware Neurons) to capitalize on neurons that are crucial in processing contextual cues. Specifically, IRCAN first identifies neurons that significantly contribute to context processing, utilizing a context-aware attribution score derived from integrated gradients. Subsequently, the identified context-aware neurons are strengthened via reweighting. In doing so, we steer LLMs to generate context-sensitive outputs with respect to the new knowledge provided in the context. Extensive experiments conducted across a variety of models and tasks demonstrate that IRCAN not only achieves remarkable improvements in handling knowledge conflicts but also offers a scalable, plug-and-play solution that can be integrated seamlessly with existing models. Our codes are released at https://github.com/danshi777/IRCAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google