OrchMoE: Efficient Multi-Adapter Learning with Task-Skill Synergy

要約

私たちは、モジュール式スキル アーキテクチャを利用してニューラル ネットワークの順方向転送を強化する、新しいマルチアダプター メソッドである OrchMoE を使用して、パラメーター効率の高い微調整 (PEFT) の分野を前進させます。
明示的なタスク識別入力に依存する以前のモデルとは異なり、OrchMoE はタスク カテゴリを自動的に識別し、学習プロセスを合理化します。
これは、タスク固有の分類を集合的に推定し、スキル割り当てマトリックスを調整する、自動タスク分類モジュールとタスク-スキル割り当てモジュールで構成される統合メカニズムを通じて実現されます。
1,600 の多様な指導タスクを特徴とする「Super Natural 命令」データセットに対する広範な評価では、OrchMoE が同じパラメーター制約内で動作しながら、パフォーマンスとサンプル利用効率の両方の点で同等のマルチアダプター ベースラインを大幅に上回っていることが示されています。
これらの発見は、OrchMoE がマルチタスクの学習効率において大幅な進歩をもたらすことを示唆しています。

要約(オリジナル)

We advance the field of Parameter-Efficient Fine-Tuning (PEFT) with our novel multi-adapter method, OrchMoE, which capitalizes on modular skill architecture for enhanced forward transfer in neural networks. Unlike prior models that depend on explicit task identification inputs, OrchMoE automatically discerns task categories, streamlining the learning process. This is achieved through an integrated mechanism comprising an Automatic Task Classification module and a Task-Skill Allocation module, which collectively deduce task-specific classifications and tailor skill allocation matrices. Our extensive evaluations on the ‘Super Natural Instructions’ dataset, featuring 1,600 diverse instructional tasks, indicate that OrchMoE substantially outperforms comparable multi-adapter baselines in terms of both performance and sample utilization efficiency, all while operating within the same parameter constraints. These findings suggest that OrchMoE offers a significant leap forward in multi-task learning efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google