Dissecting Language Models: Machine Unlearning via Selective Pruning

要約

アプリケーションがより強力になり、より頻繁に採用されるにつれて、大規模言語モデル (LLM) の動作を理解し、形成することがますます重要になっています。
このペーパーでは、LLM 向けに特別に設計された機械の非学習手法を紹介します。
ネットワーク全体のパフォーマンスと比較した、対象となる機能におけるニューロンの相対的な重要性に基づいてニューロンを削除する、LLM の選択的プルーニング手法を導入します。
このアプローチは、特定の動作を可能にするニューロンを特定して削除するための、計算効率とデータ効率の高い方法です。
私たちの調査結果は、LLM のフィードフォワード ニューロンと注意ニューロンの両方が特殊化されていることを明らかにしました。
つまり、特定のタスクでは、特定のニューロンが他のニューロンよりも重要です。
すべての実験のコードは https://github.com/nickypro/selective-pruning で入手できます。

要約(オリジナル)

Understanding and shaping the behaviour of Large Language Models (LLMs) is increasingly important as applications become more powerful and more frequently adopted. This paper introduces a machine unlearning method specifically designed for LLMs. We introduce a selective pruning method for LLMs that removes neurons based on their relative importance on a targeted capability compared to overall network performance. This approach is a compute- and data-efficient method for identifying and removing neurons that enable specific behaviours. Our findings reveal that both feed-forward and attention neurons in LLMs are specialized; that is, for specific tasks, certain neurons are more crucial than others. Code from all experiments is available at https://github.com/nickypro/selective-pruning

arxiv情報

提供元, 利用サービス

arxiv.jp, Google