Learning to Route Among Specialized Experts for Zero-Shot Generalization

要約

最近、パラメータ効率の高い微調整を通じて特定のタスクまたはドメインに特化した「エキスパート」言語モデルが広く普及しています。
エキスパート言語モデルの大規模なコレクションをリサイクルして、目に見えないタスクに対するゼロショット一般化を改善するにはどうすればよいでしょうか?
この研究では、パラメータ効率の高い微調整を通じて生成された特殊なモジュール間のルーティングを学習する、Post-Hoc Adaptive Tokenwise Gating Over an Ocean of Specialized Experts (PHATGOOSE) を提案します。
特殊なモデル間でルーティングを学習するこれまでの手法とは異なり、PHATGOOS は、トークンごと、モデルの各レイヤーで異なるエキスパートを適応的に選択できれば、ゼロショット汎化が改善される可能性を探ります。
重要なのは、私たちの手法は事後的であるということです。特殊なモデルの作成に使用されるデータセットに同時にアクセスする必要はなく、各エキスパート モデルがトレーニングされた後に少量の追加コンピューティングが必要なだけです。
さまざまな特殊なモデル コレクションとゼロショット汎化ベンチマークを対象とした実験では、PHATGOOS がポストホック ルーティングの過去の方法よりも優れたパフォーマンスを発揮し、場合によっては明示的なマルチタスク トレーニング (同時データ アクセスが必要) よりも優れたパフォーマンスを発揮することがわかりました。
PHATGOOSE によって学習されたルーティング戦略をより深く理解するために、PHATGOOS のパフォーマンスがトークンごとおよびモジュールごとに適応的なエキスパート選択を行う能力に由来していることを検証する定性実験を実行します。
私たちはすべてのコードをリリースし、専門の専門家を再利用することによるゼロショットの一般化を改善する将来の作業をサポートします。

要約(オリジナル)

Recently, there has been a widespread proliferation of ‘expert’ language models that are specialized to a specific task or domain through parameter-efficient fine-tuning. How can we recycle large collections of expert language models to improve zero-shot generalization to unseen tasks? In this work, we propose Post-Hoc Adaptive Tokenwise Gating Over an Ocean of Specialized Experts (PHATGOOSE), which learns to route among specialized modules that were produced through parameter-efficient fine-tuning. Unlike past methods that learn to route among specialized models, PHATGOOSE explores the possibility that zero-shot generalization will be improved if different experts can be adaptively chosen for each token and at each layer in the model. Crucially, our method is post-hoc – it does not require simultaneous access to the datasets used to create the specialized models and only requires a modest amount of additional compute after each expert model is trained. In experiments covering a range of specialized model collections and zero-shot generalization benchmarks, we find that PHATGOOSE outperforms past methods for post-hoc routing and, in some cases, outperforms explicit multitask training (which requires simultaneous data access). To better understand the routing strategy learned by PHATGOOSE, we perform qualitative experiments to validate that PHATGOOSE’s performance stems from its ability to make adaptive per-token and per-module expert choices. We release all of our code to support future work on improving zero-shot generalization by recycling specialized experts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google