RecurrentGemma: Moving Past Transformers for Efficient Open Language Models

要約

Google の新しい Griffin アーキテクチャを使用するオープン言語モデルのファミリーである RecurrentGemma を紹介します。
Griffin は、線形反復と局所的な注意を組み合わせて、言語に関して優れたパフォーマンスを達成します。
サイズが固定された状態なので、メモリの使用量が削減され、長いシーケンスでの効率的な推論が可能になります。
2B パラメーターと 9B パラメーターを含む 2 つのサイズのモデルが提供され、両方の事前トレーニング済みバリアントと命令調整済みバリアントが提供されます。
私たちのモデルは、より少ないトークンでトレーニングされているにもかかわらず、同様のサイズの Gemma ベースラインと同等のパフォーマンスを達成します。

要約(オリジナル)

We introduce RecurrentGemma, a family of open language models which uses Google’s novel Griffin architecture. Griffin combines linear recurrences with local attention to achieve excellent performance on language. It has a fixed-sized state, which reduces memory use and enables efficient inference on long sequences. We provide two sizes of models, containing 2B and 9B parameters, and provide pre-trained and instruction tuned variants for both. Our models achieve comparable performance to similarly-sized Gemma baselines despite being trained on fewer tokens.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google