STAR: Spectral Truncation and Rescale for Model Merging

要約

モデルのマージは、さらに微調整することなく、いくつかの前提条件モデルからマルチタスクモデルを取得する効率的な方法であり、自然言語処理（NLP）を含むさまざまなドメインで注目を集めています。
効率にもかかわらず、モデルの合併における重要な課題は、モデルの数が増えるにつれて、タスクのパフォーマンスの一見避けられないほどの減少です。
この論文では、$ \ mathbf {s} $ pectral $ \ mathbf {t} $ runcation $ \ mathbf {a} $ nd $ $ \ mathbf {r} $ escale（星）を緩和することを目的としています。
‘それぞれのスペクトルスペースに小さなコンポーネントを切り捨てることにより、元のマトリックスの核基準を保持するための自動パラメーターの再スケーリングスキームが続きます。
STARは、元のトレーニングデータに関する追加の推論を必要とせず、ハイパーパラマターの選択に堅牢です。
多様なNLPタスクに対する大規模なモデルのマージケースを通じて、星の有効性を実証します。
具体的には、Starはさまざまなモデルサイズで堅牢に動作し、Flan-T5で12モデルをマージすると、ベースラインを4.2 $ \％$よりも優れています。
私たちのコードは、https://github.com/ibm/starで公開されています。

要約(オリジナル)

Model merging is an efficient way of obtaining a multi-task model from several pretrained models without further fine-tuning, and it has gained attention in various domains, including natural language processing (NLP). Despite the efficiency, a key challenge in model merging is the seemingly inevitable decrease in task performance as the number of models increases. In this paper, we propose $\mathbf{S}$pectral $\mathbf{T}$runcation $\mathbf{A}$nd $\mathbf{R}$escale (STAR) that aims at mitigating “merging conflicts” by truncating small components in the respective spectral spaces, which is followed by an automatic parameter rescaling scheme to retain the nuclear norm of the original matrix. STAR requires no additional inference on original training data and is robust to hyperparamater choice. We demonstrate the effectiveness of STAR through extensive model merging cases on diverse NLP tasks. Specifically, STAR works robustly across varying model sizes, and can outperform baselines by 4.2$\%$ when merging 12 models on Flan-T5. Our code is publicly available at https://github.com/IBM/STAR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google