Exploring Model Editing for LLM-based Aspect-Based Sentiment Classification

要約

モデル編集は、望ましい変更を実現するための解釈可能な戦略を使用して、ニューラルモデルのパラメーターの小さなサブセットを選択的に更新することを目的としています。
大規模な言語モデル（LLM）に適応するために、計算コストを大幅に削減できます。
LLMS内の重要なコンポーネントを正確にターゲットにする能力を考えると、モデルの編集は、効率的な微調整アプリケーションの大きな可能性を示しています。
この作業では、モデル編集を調査して、LLMを適応させてアスペクトベースのセンチメント分類を解決するための効率的な方法を提供します。
因果的介入を通じて、モデルの予測にはどのニューロンの隠れた状態が不可欠であるかを追跡して決定します。
LLMの各コンポーネントで介入と修復を実行することにより、アスペクトベースのセンチメント分類に関するこれらのコンポーネントの重要性を特定します。
私たちの調査結果は、特定のアスペクトワードの感情極性を検出するためには、中層表現の明確なセットが不可欠であることを明らかにしています。
これらの洞察を活用して、LLMのこれらの重要な部分のみに焦点を当てたモデル編集アプローチを開発し、LLMを適応させるためのより効率的な方法につながります。
我々の領域およびドメイン外の実験は、このアプローチが、より効率的で解釈可能な微調整戦略を強調している、現在最も強力な方法と比較して、現在最も強力な方法と比較して競争結果を達成することを示しています。

要約(オリジナル)

Model editing aims at selectively updating a small subset of a neural model’s parameters with an interpretable strategy to achieve desired modifications. It can significantly reduce computational costs to adapt to large language models (LLMs). Given its ability to precisely target critical components within LLMs, model editing shows great potential for efficient fine-tuning applications. In this work, we investigate model editing to serve an efficient method for adapting LLMs to solve aspect-based sentiment classification. Through causal interventions, we trace and determine which neuron hidden states are essential for the prediction of the model. By performing interventions and restorations on each component of an LLM, we identify the importance of these components for aspect-based sentiment classification. Our findings reveal that a distinct set of mid-layer representations is essential for detecting the sentiment polarity of given aspect words. Leveraging these insights, we develop a model editing approach that focuses exclusively on these critical parts of the LLM, leading to a more efficient method for adapting LLMs. Our in-domain and out-of-domain experiments demonstrate that this approach achieves competitive results compared to the currently strongest methods with significantly fewer trainable parameters, highlighting a more efficient and interpretable fine-tuning strategy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google