PLeaS — Merging Models with Permutations and Least Squares

要約

機械学習システムの民主化により、多くの実務者が微調整のプロセスにアクセスできるようになり、特殊なタスクやデータセットに基づいて微調整された幅広いオープンソース モデルが誕生しました。
最近の研究では、そのようなモデルをマージして機能を組み合わせることが提案されています。
ただし、従来のアプローチは、同じ基本モデルから微調整されたモデルに限定されています。
さらに、最終的に結合されたモデルは通常、元のモデルと同じサイズに制限されます。
この研究では、これらの制約を緩和する、PLeaS と呼ばれるモデルをマージするための新しい 2 段階のアルゴリズムを提案します。
まず、2 つのモデルに固有の Permutation 対称性を利用して、PLeaS はアライメントを最大化することで各層のノードを部分的に一致させます。
次に、PLeaS は、マージされたモデルの重みをレイヤーごとの最小二乗法ソリューションとして計算し、マージされたモデルの特徴と元のモデルの並べ替えられた特徴の間の近似誤差を最小限に抑えます。
2 つのオリジナル モデルが異なるベース モデルから微調整された場合でも、希望のサイズの 1 つのモデルに変換できます。
また、微調整ドメインからのデータを使用せずにモデルを結合できる方法の変形例も示します。
共有ラベル空間と異なるラベル空間でトレーニングされた ResNet モデルをマージする方法を実証し、同じターゲット コンピューティングに対して、最先端のマージ方法よりも 8 ～ 15 パーセント ポイント優れたパフォーマンスを示しながら、上でトレーニングされたモデルをマージできることを示します。
DomainNet およびきめの細かい分類タスク。

要約(オリジナル)

The democratization of machine learning systems has made the process of fine-tuning accessible to a large number of practitioners, leading to a wide range of open-source models fine-tuned on specialized tasks and datasets. Recent work has proposed to merge such models to combine their functionalities. However, prior approaches are restricted to models that are fine-tuned from the same base model. Furthermore, the final merged model is typically restricted to be of the same size as the original models. In this work, we propose a new two-step algorithm to merge models-termed PLeaS-which relaxes these constraints. First, leveraging the Permutation symmetries inherent in the two models, PLeaS partially matches nodes in each layer by maximizing alignment. Next, PLeaS computes the weights of the merged model as a layer-wise Least Squares solution to minimize the approximation error between the features of the merged model and the permuted features of the original models. into a single model of a desired size, even when the two original models are fine-tuned from different base models. We also present a variant of our method which can merge models without using data from the fine-tuning domains. We demonstrate our method to merge ResNet models trained with shared and different label spaces, and show that we can perform better than the state-of-the-art merging methods by 8 to 15 percentage points for the same target compute while merging models trained on DomainNet and on fine-grained classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google