Capability Localization: Capabilities Can be Localized rather than Individual Knowledge

要約

大規模な言語モデルは、自然言語処理に関連するタスクで優れたパフォーマンスを達成していますが、モデルパラメーターがパフォーマンスの改善にどのように影響するかはまだ不明です。
以前の研究では、個々の知識がローカルパラメーターに保存されており、個々の知識のストレージ形式は分散パラメーター、パラメーターレイヤー、またはパラメーターチェーンであり、統一されていないと想定していました。
忠実度と信頼性評価実験を通じて、個々の知識をローカライズできないことがわかりました。
その後、デカップリング実験のためのデータセットを構築し、データの共通性をローカライズする可能性を発見しました。
この現象をさらに明らかにするために、このペーパーでは、共通性ニューロンを正常に位置付け、GSM8Kデータセットで96.42％のニューロンオーバーラップレートを達成する共通性ニューロン局在（CNL）メソッドを提案します。
最後に、相互データ実験を通じて、共通性ニューロンはパフォーマンスを向上させる能力を備えた能力ニューロンのコレクションであることを実証しました。
私たちのコードは、https：//github.com/nlpkeg/capability-neuron-localizationで入手できます。

要約(オリジナル)

Large scale language models have achieved superior performance in tasks related to natural language processing, however, it is still unclear how model parameters affect performance improvement. Previous studies assumed that individual knowledge is stored in local parameters, and the storage form of individual knowledge is dispersed parameters, parameter layers, or parameter chains, which are not unified. We found through fidelity and reliability evaluation experiments that individual knowledge cannot be localized. Afterwards, we constructed a dataset for decoupling experiments and discovered the potential for localizing data commonalities. To further reveal this phenomenon, this paper proposes a Commonality Neuron Localization (CNL) method, which successfully locates commonality neurons and achieves a neuron overlap rate of 96.42% on the GSM8K dataset. Finally, we have demonstrated through cross data experiments that commonality neurons are a collection of capability neurons that possess the capability to enhance performance. Our code is available at https://github.com/nlpkeg/Capability-Neuron-Localization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google