Let’s Focus on Neuron: Neuron-Level Supervised Fine-tuning for Large Language Model

要約

大規模言語モデル (LLM) は、さまざまな動作や役割を示すニューロンで構成されており、モデルがスケールするにつれてますます多様化します。
最近の研究では、異なるデータセット間ですべてのニューロンがアクティブであるわけではなく、この疎性がタスク固有の能力と正の相関関係にあり、モデルの枝刈りやトレーニング効率の向上につながることが明らかになりました。
従来の微調整方法では LLM のすべてのパラメータが使用されますが、計算コストが高くつくため、必要ない場合もあります。
対照的に、パラメーター効率の良い微調整 (PEFT) アプローチは、トレーニング可能なパラメーターの数を最小限に抑えることを目的としていますが、依然として比較的マクロなスケール (レイヤー レベルなど) で動作します。
ニューロン レベル ファイン チューニング (NeFT) を導入します。これは、パラメーター トレーニングの粒度を個々のニューロンにまで微調整し、より正確で計算効率の高いモデル更新を可能にする新しいアプローチです。
実験結果は、NeFT がフルパラメータ微調整と PEFT のパフォーマンスを上回っただけでなく、ニューロンの分析に関する洞察も提供したことを示しています。

要約(オリジナル)

Large Language Models (LLMs) are composed of neurons that exhibit various behaviors and roles, which become increasingly diversified as models scale. Recent studies have revealed that not all neurons are active across different datasets, and this sparsity correlates positively with the task-specific ability, leading to advancements in model pruning and training efficiency. Traditional fine-tuning methods engage all parameters of LLMs, which is computationally expensive and may not be necessary. In contrast, Parameter-Efficient Fine-Tuning (PEFT) approaches aim to minimize the number of trainable parameters, yet they still operate at a relatively macro scale (e.g., layer-level). We introduce Neuron-Level Fine-Tuning (NeFT), a novel approach that refines the granularity of parameter training down to the individual neuron, enabling more precise and computationally efficient model updates. The experimental results show that NeFT not only exceeded the performance of full-parameter fine-tuning and PEFT but also provided insights into the analysis of neurons.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google