Conditional Adapters: Parameter-efficient Transfer Learning with Fast Inference

要約

タイトル： 条件アダプター：高速推論を伴うパラメータ効率の良い転移学習

要約：
– 条件アダプター（CoDA）は、パラメータ効率の良い転移学習方法であり、推論効率も改善されます。
– CoDAは、条件付き計算を使用する新しい速度と精度のバランス方法を可能にする、標準的なアダプターアプローチを超えて一般化します。
– 既存の密度プリトレーニングモデルから始めて、CoDAはスパースな活性化と少数の新しいパラメータと軽量なトレーニングフェーズを追加します。
– 実験により、CoDAアプローチは予想外に効率的な知識転移の方法を提供します。各言語、ビジョン、音声タスクの場合、CoDAは、同じパラメータ効率でモデルを改善するための最新のアダプターアプローチと比較して、中程度または精度の損失なしで、2倍から8倍の推論スピードアップを実現します。

要約(オリジナル)

We propose Conditional Adapter (CoDA), a parameter-efficient transfer learning method that also improves inference efficiency. CoDA generalizes beyond standard adapter approaches to enable a new way of balancing speed and accuracy using conditional computation. Starting with an existing dense pretrained model, CoDA adds sparse activation together with a small number of new parameters and a light-weight training phase. Our experiments demonstrate that the CoDA approach provides an unexpectedly efficient way to transfer knowledge. Across a variety of language, vision, and speech tasks, CoDA achieves a 2x to 8x inference speed-up compared to the state-of-the-art Adapter approach with moderate to no accuracy loss and the same parameter efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI