ConKE: Conceptualization-Augmented Knowledge Editing in Large Language Models for Commonsense Reasoning

要約

知識編集（KE）は、大規模な言語モデル（LLM）内部表現とパラメーターを調整して、モデル全体を再トレーニングする計算費用を負担することなく、不正確さを修正し、出力の一貫性を改善することを目指しています。
ただし、既存のリソースでの限られた知識カバレッジ、大量の常識的な知識のためにラベルに注釈を付けることの無効性、現在の編集方法の厳格な知識形式など、常識的な知識の編集は依然として困難に直面しています。
このホワイトペーパーでは、ConceptEditを提示することにより、これらの課題に対処します。これは、ConcountEditをLLMSのKEパイプラインに統合するフレームワークを提示して、共同推論能力を強化します。
ConceptEditは、別の検証剤LLMを使用してLLM内の信じられない常識的知識を動的に診断し、より強力な一般化可能性のために概念化で編集されるソース知識を拡張します。
実験結果は、ConceptEditでLLMが強化されたことは、他のベースラインと比較して妥当性が向上し、複数の質問に依存するベンチマークにわたってより強力なパフォーマンスを達成することで、改善された知識を成功裏に生成することを示しています。
データ、コード、モデルは、https：//github.com/hkust-knowcomp/conkeで公開されています。

要約(オリジナル)

Knowledge Editing (KE) aims to adjust a Large Language Model’s (LLM) internal representations and parameters to correct inaccuracies and improve output consistency without incurring the computational expense of re-training the entire model. However, editing commonsense knowledge still faces difficulties, including limited knowledge coverage in existing resources, the infeasibility of annotating labels for an overabundance of commonsense knowledge, and the strict knowledge formats of current editing methods. In this paper, we address these challenges by presenting ConceptEdit, a framework that integrates conceptualization and instantiation into the KE pipeline for LLMs to enhance their commonsense reasoning capabilities. ConceptEdit dynamically diagnoses implausible commonsense knowledge within an LLM using another verifier LLM and augments the source knowledge to be edited with conceptualization for stronger generalizability. Experimental results demonstrate that LLMs enhanced with ConceptEdit successfully generate commonsense knowledge with improved plausibility compared to other baselines and achieve stronger performance across multiple question answering benchmarks. Our data, code, and models are publicly available at https://github.com/HKUST-KnowComp/ConKE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google