Modularity in Transformers: Investigating Neuron Separability & Specialization

要約

変圧器モデルはさまざまなアプリケーションでますます普及していますが、その内部動作についての理解は依然として限られています。
この論文では、視覚 (ViT) モデルと言語 (Mistral 7B) モデルの両方に焦点を当て、トランスフォーマー アーキテクチャ内のニューロンのモジュール性とタスクの特殊化を調査します。
選択的枝刈り技術と MoEfication クラスタリング技術を組み合わせて使用​​し、さまざまなタスクとデータ サブセットにわたるニューロンの重複と特殊化を分析します。
私たちの発見により、関連するタスク間でさまざまな程度の重複を伴​​う、タスク固有のニューロンクラスターの証拠が明らかになりました。
ランダムに初期化されたモデルでもニューロンの重要性パターンがある程度持続することが観察され、トレーニングによって洗練される固有の構造が示唆されます。
さらに、MoEfication を通じて特定されたニューロン クラスターは、モデルの以前の層と後の層にあるタスク固有のニューロンとより強く対応していることがわかりました。
この研究は、変圧器内部のより微妙な理解に貢献し、モデルの解釈可能性と効率を改善するための潜在的な手段への洞察を提供します。

要約(オリジナル)

Transformer models are increasingly prevalent in various applications, yet our understanding of their internal workings remains limited. This paper investigates the modularity and task specialization of neurons within transformer architectures, focusing on both vision (ViT) and language (Mistral 7B) models. Using a combination of selective pruning and MoEfication clustering techniques, we analyze the overlap and specialization of neurons across different tasks and data subsets. Our findings reveal evidence of task-specific neuron clusters, with varying degrees of overlap between related tasks. We observe that neuron importance patterns persist to some extent even in randomly initialized models, suggesting an inherent structure that training refines. Additionally, we find that neuron clusters identified through MoEfication correspond more strongly to task-specific neurons in earlier and later layers of the models. This work contributes to a more nuanced understanding of transformer internals and offers insights into potential avenues for improving model interpretability and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google