Dynamic Base model Shift for Delta Compression

要約

プレイン式財政パラダイムを備えた変圧器ベースのモデルは、複数のタスク上の微調ューされたモデルの重い貯蔵および展開コストとともに、大きな進歩をもたらします。
デルタ圧縮は、剪定または量子化を通じてデルタパラメーターの冗長性（つまり、微調ューされたモデルの重みと事前に訓練されたモデルの重みの違い）を減らすことにより、コストを削減しようとします。
ただし、既存の方法では、デフォルトでは前提条件のモデルを基本モデルとして採用し、すべてのタスクのDeltaパラメーターを圧縮します。これは、特に圧縮率が非常に高い場合に大きな性能劣化を引き起こす可能性があります。
この問題に取り組むために、デルタ圧縮のパフォーマンスに対するさまざまなベースモデルの影響を調査し、事前に訓練されたベースモデルがほとんど最適ではないことがわかります。
この目的のために、ダイナミックベースモデルシフト（DBMS）を提案します。これは、デルタ圧縮を実行する前にベースモデルをターゲットタスクに動的に適応させます。
具体的には、各タスクの圧縮性能を高めるために、基本モデルシフトの大きさとデルタ圧縮の全体的なスケールをそれぞれ決定する2つのパラメーターを調整します。
これらの2つのパラメーターを低コストで学習することで、当社のDBMは、既存の方法を大幅に超えて、非常に高い圧縮比設定の下であっても、Finetuned Modelのパフォーマンスのほとんどを維持できます。
さらに、当社のDBMは直交しており、他のさまざまな方法と統合でき、言語、ビジョントランス、マルチモーダルモデルなど、さまざまな種類のモデルで評価されています。

要約(オリジナル)

Transformer-based models with the pretrain-finetune paradigm bring about significant progress, along with the heavy storage and deployment costs of finetuned models on multiple tasks. Delta compression attempts to lower the costs by reducing the redundancy of delta parameters (i.e., the difference between the finetuned and pre-trained model weights) through pruning or quantization. However, existing methods by default employ the pretrained model as the base model and compress the delta parameters for every task, which may causes significant performance degradation, especially when the compression rate is extremely high. To tackle this issue, we investigate the impact of different base models on the performance of delta compression and find that the pre-trained base model can hardly be optimal. To this end, we propose Dynamic Base Model Shift (DBMS), which dynamically adapts the base model to the target task before performing delta compression. Specifically, we adjust two parameters, which respectively determine the magnitude of the base model shift and the overall scale of delta compression, to boost the compression performance on each task. Through low-cost learning of these two parameters, our DBMS can maintain most of the finetuned model’s performance even under an extremely high compression ratio setting, significantly surpassing existing methods. Moreover, our DBMS is orthogonal and can be integrated with a variety of other methods, and it has been evaluated across different types of models including language, vision transformer, and multi-modal models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google