The Falcon Series of Open Language Models

要約

Falcon シリーズを紹介します。主に Web データから組み立てられた多様な高品質のコーパスでトレーニングされた 7B、40B、および 180B パラメーターの因果デコーダー専用モデルです。
最大のモデルである Falcon-180B は、3 兆 5,000 億トークンを超えるテキスト トークンでトレーニングされました。これは、公開されて文書化された最大の事前トレーニング実行です。
Falcon-180B は、PaLM や Chinchilla などのモデルを大幅に上回り、同時に開発された LLaMA 2 や Inflection-1 などのモデルを改善します。
これは、事前トレーニングと推論のコストを削減しながら PaLM-2-Large のパフォーマンスに近づき、私たちの知る限り、GPT-4 および PaLM-2-Large と並んで世界で 3 つの最高の言語モデルの 1 つとなっています。
詳細な評価を報告するとともに、Falcon の事前トレーニングに採用された方法とカスタム ツールについても詳しく説明します。
特に、カスタムの分散トレーニング コードベースについてレポートしているため、相互接続が制限されたクラウド AWS インフラストラクチャ上の最大 4,096 台の A100 でこれらのモデルを効率的に事前トレーニングできます。
私たちは、オープン サイエンスを促進し、大規模な言語モデルのオープン エコシステムの開発を加速するために、Web データセットの 600B トークンの抽出と、Falcon-7/40/180B モデルを寛容なライセンスの下でリリースします。

要約(オリジナル)

We introduce the Falcon series: 7B, 40B, and 180B parameters causal decoder-only models trained on a diverse high-quality corpora predominantly assembled from web data. The largest model, Falcon-180B, has been trained on over 3.5 trillion tokens of text–the largest openly documented pretraining run. Falcon-180B significantly outperforms models such as PaLM or Chinchilla, and improves upon concurrently developed models such as LLaMA 2 or Inflection-1. It nears the performance of PaLM-2-Large at a reduced pretraining and inference cost, making it, to our knowledge, one of the three best language models in the world along with GPT-4 and PaLM-2-Large. We report detailed evaluations, as well as a deep dive into the methods and custom tooling employed to pretrain Falcon. Notably, we report on our custom distributed training codebase, allowing us to efficiently pretrain these models on up to 4,096 A100s on cloud AWS infrastructure with limited interconnect. We release a 600B tokens extract of our web dataset, as well as the Falcon-7/40/180B models under a permissive license to foster open-science and accelerate the development of an open ecosystem of large language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google