Mixture-of-Experts Meets Instruction Tuning:A Winning Combination for Large Language Models

要約

Sparse Mixture-of-Experts (MoE) は、推論コストを増加させることなく、学習可能なパラメーターを大規模言語モデル (LLM) に追加するために利用できるニューラル アーキテクチャ設計です。
命令チューニングは、LLM が命令に従うようにトレーニングするための手法です。
MoE モデルは高密度モデルよりも命令チューニングの恩恵を受けることがわかっているため、私たちはこれら 2 つのアプローチを組み合わせることを推奨します。
特に、私たちは 3 つの実験設定にわたって実証研究を実施します。(i) 命令チューニングを行わずに、個々の下流タスクを直接微調整する。
(ii) 命令チューニングに続いて、下流タスクに関するコンテキスト内での少数ショットまたはゼロショットの一般化。
(iii) 個々の下流タスクのさらなる微調整によって補完される命令調整。
最初のシナリオでは、MoE モデルは全体として、同じ計算能力の高密度モデルよりもパフォーマンスが劣ります。
ただし、この物語は、単独で、またはタスク固有の微調整と組み合わせて使用​​される命令チューニング (2 番目と 3 番目のシナリオ) の導入によって劇的に変わります。
当社の最も強力なモデルである FLAN-MOE-32B は、FLOP の 3 分の 1 のみを使用しながら、4 つのベンチマーク タスクで FLAN-PALM-62B のパフォーマンスを上回っています。
FLAN-MOE によって具体化された進歩は、タスク非依存型学習のフレームワークにおける大規模で高性能な言語モデルの設計原則の再評価を促します。

要約(オリジナル)

Sparse Mixture-of-Experts (MoE) is a neural architecture design that can be utilized to add learnable parameters to Large Language Models (LLMs) without increasing inference cost. Instruction tuning is a technique for training LLMs to follow instructions. We advocate combining these two approaches, as we find that MoE models benefit more from instruction tuning than dense models. In particular, we conduct empirical studies across three experimental setups: (i) Direct finetuning on individual downstream tasks devoid of instruction tuning; (ii) Instructiontuning followed by in-context few-shot or zero-shot generalization on downstream tasks; and (iii) Instruction tuning supplemented by further finetuning on individual downstream tasks. In the first scenario, MoE models overall underperform dense models of identical computational capacity. This narrative, however, dramatically changes with the introduction of instruction tuning (second and third scenario), used independently or in conjunction with task-specific finetuning. Our most powerful model, FLAN-MOE-32B, surpasses the performance of FLAN-PALM-62B on four benchmark tasks, while using only a third of the FLOPs. The advancements embodied byFLAN-MOE inspire a reevaluation of the design principles of large-scale, high-performance language models in the framework of task-agnostic learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google