Semantic are Beacons: A Semantic Perspective for Unveiling Parameter-Efficient Fine-Tuning in Knowledge Learning

要約

Parameter-Efficient Fine-Tuning (PEFT) メソッドにより、大規模言語モデル (LLM) をさまざまなダウンストリーム アプリケーションに効率的に適応させることができます。
ただし、下流のタスクで事実の知識を正確に学習する必要がある場合、PEFT の有効性は著しく低下します。
この論文では、意味論的な観点を採用してこの現象を調査し、知識学習タスクにおける PEFT の限界の背後にある理由を明らかにします。
私たちの調査結果では、次のことが明らかになりました。(1) PEFT には、モデルを意図した知識目標から遠ざけるという顕著なリスクがあります。
(2) 複数の知識が互いに干渉し合い、その干渉により知識特徴の学習や表現が抑制される。
これらの洞察に基づいて、知識学習に有害なデータを除外するデータ フィルタリング戦略と、知識学習中にモデルが意味論的距離に注意を払うようにする再重み付け学習戦略を導入します。
実験結果は、オープンソースの大規模言語モデルに対する提案された方法の有効性を実証し、PEFT における意味論的な課題をさらに検証し、将来の研究への道を開きます。

要約(オリジナル)

Parameter-Efficient Fine-Tuning (PEFT) methods enable efficient adaptation of Large Language Models (LLMs) to various downstream applications. However, the effectiveness of the PEFT diminishes notably when downstream tasks require accurate learning of factual knowledge. In this paper, we adopt a semantic perspective to investigate this phenomenon, uncovering the reasons behind PEFT’s limitations in knowledge learning task. Our findings reveal that: (1) PEFT presents a notable risk of pushing the model away from the intended knowledge target; (2) multiple knowledge interfere with each other, and such interference suppresses the learning and expression of knowledge features. Based on these insights, we introduce a data filtering strategy to exclude data that is detrimental to knowledge learning and a re-weighted learning strategy to make the model attentive to semantic distance during knowledge learning. Experimental results demonstrate the effectiveness of the proposed method on open-source large language model, further validate the semantic challenge in PEFT, thus paving the way for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google