BLOOM: A 176B-Parameter Open-Access Multilingual Language Model

要約

大規模言語モデル (LLM) は、いくつかのデモンストレーションまたは自然言語命令に基づいて新しいタスクを実行できることが示されています。
これらの機能は広く採用されるようになりましたが、ほとんどの LLM はリソースが豊富な組織によって開発されており、一般公開されていないことがよくあります。
この強力なテクノロジーを民主化するためのステップとして、数百人の研究者の協力のおかげで設計、構築された 176B パラメーターのオープンアクセス言語モデルである BLOOM を紹介します。
BLOOM は、46 の自然言語と 13 のプログラミング言語 (合計 59) の数百のソースで構成されるデータセットである ROOTS コーパスでトレーニングされたデコーダー専用の Transformer 言語モデルです。
BLOOM はさまざまなベンチマークで競争力のあるパフォーマンスを達成し、マルチタスクによる微調整を経た後はより強力な結果が得られることがわかりました。
LLM を使用した将来の研究とアプリケーションを促進するために、私たちは責任ある AI ライセンスに基づいてモデルとコードを公開します。

要約(オリジナル)

Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google