The Llama 3 Herd of Models

要約

最新の人工知能 (AI) システムは基礎モデルを利用しています。
このペーパーでは、Llama 3 と呼ばれる新しい一連の基礎モデルについて説明します。これは、多言語性、コーディング、推論、およびツールの使用法をネイティブにサポートする言語モデルの集合です。
私たちの最大のモデルは、405B のパラメーターと最大 128K トークンのコンテキスト ウィンドウを備えた高密度の Transformer です。
この論文では、Llama 3 の広範な実証的評価を示します。Llama 3 は、多数のタスクに関して GPT-4 などの主要な言語モデルと同等の品質を提供することがわかりました。
当社は、405B パラメーター言語モデルの事前トレーニング済みバージョンとトレーニング後バージョン、および入力と出力の安全性を確保するための Llama Guard 3 モデルを含む Llama 3 を一般公開しています。
この論文では、合成アプローチによって画像、ビデオ、および音声機能を Llama 3 に統合する実験の結果も示しています。
このアプローチは、画像、ビデオ、音声認識タスクにおいて最先端のアプローチと競合するパフォーマンスを示していることがわかります。
結果として得られるモデルはまだ開発中であるため、広くリリースされていません。

要約(オリジナル)

Modern artificial intelligence (AI) systems are powered by foundation models. This paper presents a new set of foundation models, called Llama 3. It is a herd of language models that natively support multilinguality, coding, reasoning, and tool usage. Our largest model is a dense Transformer with 405B parameters and a context window of up to 128K tokens. This paper presents an extensive empirical evaluation of Llama 3. We find that Llama 3 delivers comparable quality to leading language models such as GPT-4 on a plethora of tasks. We publicly release Llama 3, including pre-trained and post-trained versions of the 405B parameter language model and our Llama Guard 3 model for input and output safety. The paper also presents the results of experiments in which we integrate image, video, and speech capabilities into Llama 3 via a compositional approach. We observe this approach performs competitively with the state-of-the-art on image, video, and speech recognition tasks. The resulting models are not yet being broadly released as they are still under development.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google