Efficient Model Editing with Task-Localized Sparse Fine-tuning

要約

タスク演算は、タスク固有の知識を合成可能なタスクベクトルとして表現することで、モデルを編集するための有望なアプローチとして登場した。しかし、既存の手法は、タスクベクトルを導出するためにネットワークの線形化に依存しており、学習や推論時の計算ボトルネックにつながっている。さらに、線形化だけでは、タスクベクトルの競合のない合成を可能にする重要な性質である重みの非連続性が保証されない。この問題に対処するため、我々は、明示的な線形化を必要とせず、タスク間で情報を共有することで、干渉を最小限に抑えた疎なタスクベクトルを構築できるTaLoSを提案する。我々は、事前に訓練されたモデルには、タスク間で一貫して低い勾配感度を持つパラメータのサブセットが含まれており、これらのパラメータのみをスパースに更新することで、微調整中に重みの分離を促進できることを発見した。我々の実験により、TaLoSがタスクの追加と否定において現在の手法を凌駕しながら、学習と推論の効率を改善することが証明された。モジュラーパラメータ編集を可能にすることで、我々のアプローチは、実世界のアプリケーションにおける適応可能な基礎モデルの実用的な展開を促進する。

要約(オリジナル)

Task arithmetic has emerged as a promising approach for editing models by representing task-specific knowledge as composable task vectors. However, existing methods rely on network linearization to derive task vectors, leading to computational bottlenecks during training and inference. Moreover, linearization alone does not ensure weight disentanglement, the key property that enables conflict-free composition of task vectors. To address this, we propose TaLoS which allows to build sparse task vectors with minimal interference without requiring explicit linearization and sharing information across tasks. We find that pre-trained models contain a subset of parameters with consistently low gradient sensitivity across tasks, and that sparsely updating only these parameters allows for promoting weight disentanglement during fine-tuning. Our experiments prove that TaLoS improves training and inference efficiency while outperforming current methods in task addition and negation. By enabling modular parameter editing, our approach fosters practical deployment of adaptable foundation models in real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL