Llama 2: Open Foundation and Fine-Tuned Chat Models

要約

この取り組みでは、70 億から 700 億のパラメータ規模の、事前トレーニングされ微調整された大規模言語モデル (LLM) のコレクションである Llama 2 を開発し、リリースします。
Llama 2-Chat と呼ばれる微調整された LLM は、対話のユースケース向けに最適化されています。
当社のモデルは、テストしたほとんどのベンチマークでオープンソース チャット モデルを上回っており、有用性と安全性に関する人間による評価に基づくと、クローズドソース モデルの適切な代替品となる可能性があります。
私たちは、コミュニティが私たちの取り組みを発展させ、LLM の責任ある開発に貢献できるように、Llama 2-Chat の微調整と安全性の向上に対する私たちのアプローチを詳細に説明します。

要約(オリジナル)

In this work, we develop and release Llama 2, a collection of pretrained and fine-tuned large language models (LLMs) ranging in scale from 7 billion to 70 billion parameters. Our fine-tuned LLMs, called Llama 2-Chat, are optimized for dialogue use cases. Our models outperform open-source chat models on most benchmarks we tested, and based on our human evaluations for helpfulness and safety, may be a suitable substitute for closed-source models. We provide a detailed description of our approach to fine-tuning and safety improvements of Llama 2-Chat in order to enable the community to build on our work and contribute to the responsible development of LLMs.

arxiv情報

著者 Hugo Touvron,Louis Martin,Kevin Stone,Peter Albert,Amjad Almahairi,Yasmine Babaei,Nikolay Bashlykov,Soumya Batra,Prajjwal Bhargava,Shruti Bhosale,Dan Bikel,Lukas Blecher,Cristian Canton Ferrer,Moya Chen,Guillem Cucurull,David Esiobu,Jude Fernandes,Jeremy Fu,Wenyin Fu,Brian Fuller,Cynthia Gao,Vedanuj Goswami,Naman Goyal,Anthony Hartshorn,Saghar Hosseini,Rui Hou,Hakan Inan,Marcin Kardas,Viktor Kerkez,Madian Khabsa,Isabel Kloumann,Artem Korenev,Punit Singh Koura,Marie-Anne Lachaux,Thibaut Lavril,Jenya Lee,Diana Liskovich,Yinghai Lu,Yuning Mao,Xavier Martinet,Todor Mihaylov,Pushkar Mishra,Igor Molybog,Yixin Nie,Andrew Poulton,Jeremy Reizenstein,Rashi Rungta,Kalyan Saladi,Alan Schelten,Ruan Silva,Eric Michael Smith,Ranjan Subramanian,Xiaoqing Ellen Tan,Binh Tang,Ross Taylor,Adina Williams,Jian Xiang Kuan,Puxin Xu,Zheng Yan,Iliyan Zarov,Yuchen Zhang,Angela Fan,Melanie Kambadur,Sharan Narang,Aurelien Rodriguez,Robert Stojnic,Sergey Edunov,Thomas Scialom
発行日 2023-07-18 14:31:57+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL パーマリンク