HM3: Hierarchical Multi-Objective Model Merging for Pretrained Models

要約

モデルのマージは、複数の大規模な事前トレーニング済みモデルを 1 つのモデルに結合する手法であり、パフォーマンスが向上し、より広範なタスクの適応性が得られます。
元のトレーニング データとさらなるトレーニング プロセスの必要性を回避できるため、大規模な事前トレーニング済みモデルの開発で人気が高まっています。
ただし、既存のモデル結合アプローチのほとんどは、パラメーター空間を探索し、同一のアーキテクチャを持つモデルを結合することだけに重点を置いています。
アーキテクチャ空間内でのマージは、その可能性にもかかわらず、広大な検索空間とレイヤー互換性の課題のため、まだ初期段階にあります。
この論文は、強化学習タスクとしてアーキテクチャと空間のマージ プロセスをモデル化することにより、より柔軟で包括的なモデル マージ手法に向けた大きな進歩を示しています。
重みベクトルのオフライン サンプリングを使用してポリシーとバリュー ネットワークをトレーニングし、その後、マージ戦略のオンライン最適化に使用します。
さらに、ユーザーの多様なタスクの好みに対応するために多目的最適化パラダイムが導入され、最適モデルのパレート フロントを学習して、カスタマイズされた結合提案を提供します。
テキスト翻訳、数学的推論、コード生成などの複数のタスクにわたる実験結果により、モデルの結合における提案されたフレームワークの有効性と優位性が検証されます。
コードはレビュープロセス後に公開されます。

要約(オリジナル)

Model merging is a technique that combines multiple large pretrained models into a single model with enhanced performance and broader task adaptability. It has gained popularity in large pretrained model development due to its ability to bypass the need for original training data and further training processes. However, most existing model merging approaches focus solely on exploring the parameter space, merging models with identical architectures. Merging within the architecture space, despite its potential, remains in its early stages due to the vast search space and the challenges of layer compatibility. This paper marks a significant advance toward more flexible and comprehensive model merging techniques by modeling the architecture-space merging process as a reinforcement learning task. We train policy and value networks using offline sampling of weight vectors, which are then employed for the online optimization of merging strategies. Moreover, a multi-objective optimization paradigm is introduced to accommodate users’ diverse task preferences, learning the Pareto front of optimal models to offer customized merging suggestions. Experimental results across multiple tasks, including text translation, mathematical reasoning, and code generation, validate the effectiveness and superiority of the proposed framework in model merging. The code will be made publicly available after the review process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google