Llama 2: Open Foundation and Fine-Tuned Chat Models

要約

この取り組みでは、70 億から 700 億のパラメータ規模の、事前トレーニングされ微調整された大規模言語モデル (LLM) のコレクションである Llama 2 を開発し、リリースします。
Llama 2-Chat と呼ばれる微調整された LLM は、対話のユースケース向けに最適化されています。
当社のモデルは、テストしたほとんどのベンチマークでオープンソース チャット モデルを上回っており、有用性と安全性に関する人間による評価に基づくと、クローズドソース モデルの適切な代替品となる可能性があります。
私たちは、コミュニティが私たちの取り組みを発展させ、LLM の責任ある開発に貢献できるように、Llama 2-Chat の微調整と安全性の向上に対する私たちのアプローチを詳細に説明します。

要約(オリジナル)

In this work, we develop and release Llama 2, a collection of pretrained and fine-tuned large language models (LLMs) ranging in scale from 7 billion to 70 billion parameters. Our fine-tuned LLMs, called Llama 2-Chat, are optimized for dialogue use cases. Our models outperform open-source chat models on most benchmarks we tested, and based on our human evaluations for helpfulness and safety, may be a suitable substitute for closed-source models. We provide a detailed description of our approach to fine-tuning and safety improvements of Llama 2-Chat in order to enable the community to build on our work and contribute to the responsible development of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google