Neuron-level LLM Patching for Code Generation

要約

大規模言語モデル (LLM) は、ソフトウェア エンジニアリング、特にコード生成タスクで広く採用されています。
ただし、新しい知識を使用してこれらのモデルを更新するには、法外な費用がかかる可能性がありますが、その有用性を最大化するには不可欠です。
この論文では、コーディング タスクで LLM にパッチを適用するための、斬新で効果的なモデル編集アプローチ \textsc{MENT} を提案します。
\textsc{MENT} は効果的、効率的、そして信頼性があります。
1 つまたは 2 つのニューロンにパッチを適用することで、ニューラル モデルを修正できます。
生成モデルのニューロンレベルのモデル編集に関する先駆者として、私たちは編集プロセスを形式化し、関連する概念を導入しました。
さらに、その一般化能力を評価するための新しい尺度も導入し、さらなる研究のためのベンチマークを構築します。
私たちのアプローチは、API-seq 推奨、ラインレベルのコード生成、擬似コード間のトランザクションを含む 3 つのコーディング タスクで評価されます。
実験結果は、提案されたアプローチが有効性と効率性の両方の尺度において最新技術を大幅に上回っていることを示しています。
さらに、ソフトウェア エンジニアリングにおける LLM 推論のための \textsc{MENT} の使用法を示します。
LLM 知識を編集すると、思考連鎖における API 呼び出しの直接的または間接的に依存する動作がそれに応じて変化します。
LLMを修復することの重要性について説明しました。

要約(オリジナル)

Large Language Models (LLMs) have found widespread adoption in software engineering, particularly in code generation tasks. However, updating these models with new knowledge can be prohibitively expensive, yet it is essential for maximizing their utility. In this paper, we propose a novel and effective model editing approach, \textsc{MENT}, to patch LLMs in coding tasks. \textsc{MENT} is effective, efficient, and reliable. It can correct a neural model by patching 1 or 2 neurons. As the pioneer work on neuron-level model editing of generative models, we formalize the editing process and introduce the involved concepts. Besides, we also introduce new measures to evaluate its generalization ability, and build a benchmark for further study. Our approach is evaluated on three coding tasks, including API-seq recommendation, line-level code generation, and pseudocode-to-code transaction. The experimental results show that the proposed approach outperforms the state of the arts by a significant margin in both effectiveness and efficiency measures. In addition, we demonstrate the usages of \textsc{MENT} for LLM reasoning in software engineering. By editing LLM knowledge, the directly or indirectly dependent behaviors of API invocation in the chain-of-thought will change accordingly. It explained the significance of repairing LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google