A Unified View of Delta Parameter Editing in Post-Trained Large-Scale Models

要約

ポストトレーニングは、大規模な事前トレーニング済みモデルをさまざまなタスクに適応させるための重要なパラダイムとして浮上しており、その効果はデルタパラメーター (つまり、トレーニング後パラメーターと事前トレーニング済みパラメーター間の差異) によって完全に反映されます。
多くの研究が枝刈り、量子化、低ランク近似、外挿などの操作を介してデルタ パラメーターの特性を調査してきましたが、これらの特性を体系的に調べるための統一されたフレームワークが不足していました。
この論文では、デルタパラメータ編集操作を解明するために、損失関数のリーマン和近似に基づく新しい視点を提案します。
私たちの分析では、既存の手法を編集後のパフォーマンスに基づいて競合、低下、改善の 3 つのクラスに分類し、それらがリーマン和近似項でどのように表現されるか、またモデルのパフォーマンスがどのように変化するかを説明します。
ViT、LLaMA 3、Qwen 2、Mistral などの視覚モデルと言語モデルの両方に関する広範な実験により、理論的な発見が裏付けられています。
さらに、DARE や BitDelta などの既存の手法の拡張機能を導入し、デルタ パラメーターのプロパティを活用する際の制限を強調し、それらを一般的な式に再編成して、トレーニング後のモデルでのデルタ パラメーター編集の適用性と有効性を強化します。

要約(オリジナル)

Post-training has emerged as a crucial paradigm for adapting large-scale pre-trained models to various tasks, whose effects are fully reflected by delta parameters (i.e., the disparity between post-trained and pre-trained parameters). While numerous studies have explored delta parameter properties via operations like pruning, quantization, low-rank approximation, and extrapolation, a unified framework for systematically examining these characteristics has been lacking. In this paper, we propose a novel perspective based on Riemann sum approximation of the loss function to elucidate delta parameter editing operations. Our analysis categorizes existing methods into three classes based on their post-editing performance: competitive, decreased, and improved, explaining how they are expressed by the Riemann sum approximation term and how they alter the model performance. Extensive experiments on both visual and language models, including ViT, LLaMA 3, Qwen 2, and Mistral, corroborate our theoretical findings. Furthermore, we introduce extensions to existing techniques like DARE and BitDelta, highlighting their limitations in leveraging the properties of delta parameters and reorganizing them into general expressions to enhance the applicability and effectiveness of delta parameter editing in post-trained models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google