CAT Merging: A Training-Free Approach for Resolving Conflicts in Model Merging

要約

マルチタスクモデルの合併は、複数のエキスパートモデルを追加のトレーニングなしで統一モデルに統合するための有望なパラダイムを提供します。
タスク算術やそのバリアントなどの既存の最先端の手法は、タスクベクトルを蓄積することによりモデルをマージします。
ただし、タスクベクトルの蓄積は、しばしば知識の競合によって妨げられ、パフォーマンスの劣化につながります。
この課題に対処するために、競合するタスクの合併（CAT合併）を提案します。これは、タスクベクターから競合が発生しやすいコンポーネントを選択的にトリミングする新しいトレーニングフリーフレームワークです。
CATの合併は、線形重みの投影や正規化層のスケーリングおよびシフトパラメーターのマスキングなど、いくつかのパラメーター固有の戦略を導入します。
視覚、言語、視覚言語のタスクに関する広範な実験は、CATの合併が知識の競合を効果的に抑制し、最大の最先端の方法よりも最大2.5％（VIT-B/32）および2.0％（VIT-L/14）の平均精度の改善を達成することを示しています。

要約(オリジナル)

Multi-task model merging offers a promising paradigm for integrating multiple expert models into a unified model without additional training. Existing state-of-the-art techniques, such as Task Arithmetic and its variants, merge models by accumulating task vectors — the parameter differences between pretrained and finetuned models. However, task vector accumulation is often hindered by knowledge conflicts, leading to performance degradation. To address this challenge, we propose Conflict-Aware Task Merging (CAT Merging), a novel training-free framework that selectively trims conflict-prone components from the task vectors. CAT Merging introduces several parameter-specific strategies, including projection for linear weights and masking for scaling and shifting parameters in normalization layers. Extensive experiments on vision, language, and vision-language tasks demonstrate that CAT Merging effectively suppresses knowledge conflicts, achieving average accuracy improvements of up to 2.5% (ViT-B/32) and 2.0% (ViT-L/14) over state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google