Dissecting Language Models: Machine Unlearning via Selective Pruning

要約

大規模言語モデル(LLM)の挙動を理解し形成することは、アプリケーションがより強力になり、より頻繁に採用されるようになるにつれて、ますます重要になっている。本稿では、LLMのために特別に設計された機械学習法を紹介する。LLMの選択的刈り込み法を導入し、ネットワーク全体の性能と比較して、ターゲットとする能力に対する相対的な重要性に基づいてニューロンを除去する。このアプローチは、特定の行動を可能にするニューロンを特定し、除去するための計算効率とデータ効率の良い方法である。我々の発見は、LLMのフィードフォワードニューロンとアテンションニューロンの両方が特殊化されていること、つまり、特定のタスクでは、特定のニューロンが他のニューロンよりも重要であることを明らかにした。

要約(オリジナル)

Understanding and shaping the behaviour of Large Language Models (LLMs) is increasingly important as applications become more powerful and more frequently adopted. This paper introduces a machine unlearning method specifically designed for LLMs. We introduce a selective pruning method for LLMs that removes neurons based on their relative importance on a targeted capability compared to overall network performance. This approach is a compute- and data-efficient method for identifying and removing neurons that enable specific behaviours. Our findings reveal that both feed-forward and attention neurons in LLMs are specialized; that is, for specific tasks, certain neurons are more crucial than others.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL