Gemma: Open Models Based on Gemini Research and Technology

要約

この作品では、Gemini モデルの作成に使用された研究とテクノロジーから構築された軽量で最先端のオープン モデル ファミリである Gemma を紹介します。
Gemma モデルは、言語理解、推論、安全性に関する学術ベンチマーク全体で優れたパフォーマンスを示します。
2 つのサイズのモデル (20 億パラメータと 70 億パラメータ) をリリースし、事前トレーニングされたチェックポイントと微調整されたチェックポイントの両方を提供します。
Gemma は、18 のテキストベースのタスクのうち 11 において、同様のサイズのオープン モデルよりも優れたパフォーマンスを示し、モデル開発の詳細な説明とともに、モデルの安全性と責任の側面の包括的な評価を示します。
私たちは、フロンティア モデルの安全性を向上させ、LLM イノベーションの次の波を可能にするためには、責任を持って LLM をリリースすることが重要であると考えています。

要約(オリジナル)

This work introduces Gemma, a family of lightweight, state-of-the art open models built from the research and technology used to create Gemini models. Gemma models demonstrate strong performance across academic benchmarks for language understanding, reasoning, and safety. We release two sizes of models (2 billion and 7 billion parameters), and provide both pretrained and fine-tuned checkpoints. Gemma outperforms similarly sized open models on 11 out of 18 text-based tasks, and we present comprehensive evaluations of safety and responsibility aspects of the models, alongside a detailed description of model development. We believe the responsible release of LLMs is critical for improving the safety of frontier models, and for enabling the next wave of LLM innovations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google