Task Arithmetic in the Tangent Space: Improved Editing of Pre-Trained Models

要約

タスク演算は、事前トレーニングされたモデルを重み空間で直接編集するための費用対効果が高く、スケーラブルなアプローチとして最近登場しました。さまざまなタスクの微調整された重みを追加することで、これらのタスクにおけるモデルのパフォーマンスを向上させることができますが、それらを無効にすると、
タスク忘れ。
しかし、タスク算術の有効性とその基礎となる原理についての私たちの理解は依然として限られています。
我々は、視覚言語モデルにおけるタスク演算の包括的な研究を提示し、重みのもつれの解消がそれを効果的にする重要な要素であることを示します。
この特性は、事前トレーニング中に発生し、重み空間内の個別の方向がタスクに関連付けられた関数空間内の個別の局所的な領域を支配するときに現れます。
特に、モデルを線形化することで接線空間内でモデルを微調整すると、ウェイトのもつれの解消が増幅されることがわかります。
これにより、複数のタスクの算術ベンチマークと多様なモデル全体でパフォーマンスが大幅に向上します。
これらの発見に基づいて、これらのモデルのニューラル タンジェント カーネル (NTK) の理論的および経験的分析を提供し、タスク演算と NTK 固有関数の空間的局在化との間の説得力のある関連性を確立します。
全体として、私たちの研究はタスク演算の基本的なメカニズムに関する新たな洞察を明らかにし、NTK 線形化を通じて事前トレーニングされたモデルを編集するためのより信頼性が高く効果的なアプローチを提供します。

要約(オリジナル)

Task arithmetic has recently emerged as a cost-effective and scalable approach to edit pre-trained models directly in weight space: By adding the fine-tuned weights of different tasks, the model’s performance can be improved on these tasks, while negating them leads to task forgetting. Yet, our understanding of the effectiveness of task arithmetic and its underlying principles remains limited. We present a comprehensive study of task arithmetic in vision-language models and show that weight disentanglement is the crucial factor that makes it effective. This property arises during pre-training and manifests when distinct directions in weight space govern separate, localized regions in function space associated with the tasks. Notably, we show that fine-tuning models in their tangent space by linearizing them amplifies weight disentanglement. This leads to substantial performance improvements across multiple task arithmetic benchmarks and diverse models. Building on these findings, we provide theoretical and empirical analyses of the neural tangent kernel (NTK) of these models and establish a compelling link between task arithmetic and the spatial localization of the NTK eigenfunctions. Overall, our work uncovers novel insights into the fundamental mechanisms of task arithmetic and offers a more reliable and effective approach to edit pre-trained models through the NTK linearization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google