LLM360: Towards Fully Transparent Open-Source LLMs

要約

LLaMA、Falcon、Mistral などのオープンソースの大規模言語モデル (LLM) の最近の急増により、AI 実践者や研究者に多様な選択肢が提供されています。
しかし、ほとんどの LLM は、最終的なモデルの重みや推論コードなどの部分的な成果物しかリリースしておらず、技術レポートでは、その範囲が高レベルの設計の選択と表面統計にますます限定されています。
これらの選択は、LLM のトレーニングの透明性を低下させ、チームがトレーニング プロセスの多くの詳細を再発見することを強いることにより、現場の進歩を妨げます。
私たちは、LLM を完全にオープンソースにする取り組みである LLM360 を紹介します。これは、すべてのトレーニング コードとデータ、モデル チェックポイント、中間結果をコミュニティで利用できるようにすることを提唱しています。
LLM360 の目標は、エンドツーエンドの LLM トレーニング プロセスを透明化し、誰もが再現できるようにすることで、オープンで共同的な AI 研究をサポートすることです。
LLM360 の最初のステップとして、トレーニング コード、データ、中間チェックポイント、分析を含む、ゼロから事前トレーニングされた 2 つの 7B パラメーター LLM、Amber と CrystalCoder をリリースします (https://www.llm360.ai)。
私たちは、このオープンソースの取り組みを通じて、LLM の限界を押し広げ続けることに取り組んでいます。
より大規模で強力なモデルが進行中であり、将来リリースされる予定です。

要約(オリジナル)

The recent surge in open-source Large Language Models (LLMs), such as LLaMA, Falcon, and Mistral, provides diverse options for AI practitioners and researchers. However, most LLMs have only released partial artifacts, such as the final model weights or inference code, and technical reports increasingly limit their scope to high-level design choices and surface statistics. These choices hinder progress in the field by degrading transparency into the training of LLMs and forcing teams to rediscover many details in the training process. We present LLM360, an initiative to fully open-source LLMs, which advocates for all training code and data, model checkpoints, and intermediate results to be made available to the community. The goal of LLM360 is to support open and collaborative AI research by making the end-to-end LLM training process transparent and reproducible by everyone. As a first step of LLM360, we release two 7B parameter LLMs pre-trained from scratch, Amber and CrystalCoder, including their training code, data, intermediate checkpoints, and analyses (at https://www.llm360.ai). We are committed to continually pushing the boundaries of LLMs through this open-source effort. More large-scale and stronger models are underway and will be released in the future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google