Adapting Decoder-Based Language Models for Diverse Encoder Downstream Tasks

要約

デコーダーベースの変圧器は、言語モデリングとスケーリングに膨大なサイズに革命をもたらしながら、自然言語処理においてエンコーダーが多いアーキテクチャを完全に追い抜かれていません。
具体的には、エンコーダのみのモデルは、分類、回帰、ランキングなどのタスクでは支配的なままです。
これは主に、これらのタスクへの直接的な適用性を制限するデコーダーベースのモデルの固有の構造によるものです。
このペーパーでは、Gemmaエンコーダーを紹介し、強力なGemmaデコーダーモデルをエンコーダーアーキテクチャに適応させ、それにより、より広い範囲の非生成アプリケーションの可能性のロックを解除します。
デコーダーからエンコーダーへの適応を最適化するために、さまざまなプーリング戦略、注意メカニズム、およびハイパーパラメーター（ドロップアウト率など）を体系的に分析します。
さらに、Gemmaエンコーダーは、接着剤ベンチマーク上の確立されたアプローチとMS MARCOランキングベンチマークに対してベンチマークし、その有効性と汎用性を示しています。

要約(オリジナル)

Decoder-based transformers, while revolutionizing language modeling and scaling to immense sizes, have not completely overtaken encoder-heavy architectures in natural language processing. Specifically, encoder-only models remain dominant in tasks like classification, regression, and ranking. This is primarily due to the inherent structure of decoder-based models, which limits their direct applicability to these tasks. In this paper, we introduce Gemma Encoder, adapting the powerful Gemma decoder model to an encoder architecture, thereby unlocking its potential for a wider range of non-generative applications. To optimize the adaptation from decoder to encoder, we systematically analyze various pooling strategies, attention mechanisms, and hyperparameters (e.g., dropout rate). Furthermore, we benchmark Gemma Encoder against established approaches on the GLUE benchmarks, and MS MARCO ranking benchmark, demonstrating its effectiveness and versatility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google