Efficient Fine-tuning of Audio Spectrogram Transformers via Soft Mixture of Adapters

要約

Mixture of Experts (MoE) アーキテクチャは、手頃な計算コストを維持しながらモデルの容量を拡張できるため、最近急成長し始めています。
さらに、それらは、多くの分野における現在の最先端モデルであるトランスフォーマーと状態空間モデルの両方に適用できます。
MoE は主に事前トレーニング段階で研究されてきましたが、パラメータ効率の高い転移学習設定での使用は十分に研究されていません。
このギャップを埋めるために、この文書では、オーディオおよびスピーチのダウンストリーム タスクに対するオーディオ スペクトログラム トランスフォーマーのパラメータ効率の高い微調整のための MoE の使用について、わかりやすく説明しようとします。
具体的には、アダプターのソフト混合 (Soft-MoA) を提案します。
これはアダプターをエキスパートとして活用し、最近の Soft MoE 手法を利用して、入力トークンとエキスパートの間のソフト割り当てに依存して計算時間を制限します。
4 つのベンチマークにわたる広範な実験により、Soft-MoA が単一アダプター方式を上回り、対応する高密度 MoA と同等のパフォーマンスを発揮することが実証されました。
最後に、Soft-MoA の主要な要素に関するアブレーション研究を紹介します。たとえば、Soft-MoA がより多くのエキスパートを使用してより優れたスケーリングを達成すること、およびすべてのエキスパートが出力トークンの計算に確実に貢献することにより、エキスパートの不均衡の問題が回避されることを示します。
。

要約(オリジナル)

Mixture of Experts (MoE) architectures have recently started burgeoning due to their ability to scale model’s capacity while maintaining the computational cost affordable. Furthermore, they can be applied to both Transformers and State Space Models, the current state-of-the-art models in numerous fields. While MoE has been mostly investigated for the pre-training stage, its use in parameter-efficient transfer learning settings is under-explored. To narrow this gap, this paper attempts to demystify the use of MoE for parameter-efficient fine-tuning of Audio Spectrogram Transformers to audio and speech downstream tasks. Specifically, we propose Soft Mixture of Adapters (Soft-MoA). It exploits adapters as the experts and, leveraging the recent Soft MoE method, it relies on a soft assignment between the input tokens and experts to keep the computational time limited. Extensive experiments across 4 benchmarks demonstrate that Soft-MoA outperforms the single adapter method and performs on par with the dense MoA counterpart. We finally present ablation studies on key elements of Soft-MoA, showing for example that Soft-MoA achieves better scaling with more experts, as well as ensuring that all experts contribute to the computation of the output tokens, thus dispensing with the expert imbalance issue.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google