TeenyTinyLlama: open-source tiny language models trained in Brazilian Portuguese

要約

大規模言語モデル (LLM) は自然言語処理を大幅に進歩させましたが、その進歩は言語間でまだ同等ではありません。
ほとんどの LLM は英語などの高リソース言語でトレーニングされていますが、多言語モデルは一般に単言語モデルのパフォーマンスを下回ります。
さらに、多言語基盤の側面により、計算要求やライセンス制度など、生成される副産物が制限される場合があります。
この研究では、リソースが少ない環境での使用に合わせて調整されたオープン基盤モデルの開発、その制限、および利点について文書化します。
これは TeenyTinyLlama のペアです。ブラジル ポルトガル語テキスト生成用の 2 つのコンパクトなモデルです。
これらは、コミュニティでの使用とさらなる開発のために、GitHub および Hugging Face 上で寛容な Apache 2.0 ライセンスの下でリリースされています。
https://github.com/Nkluge-correa/TeenyTinyLlama を参照してください。

要約(オリジナル)

Large language models (LLMs) have significantly advanced natural language processing, but their progress has yet to be equal across languages. While most LLMs are trained in high-resource languages like English, multilingual models generally underperform monolingual ones. Additionally, aspects of their multilingual foundation sometimes restrict the byproducts they produce, like computational demands and licensing regimes. In this study, we document the development of open-foundation models tailored for use in low-resource settings, their limitations, and their benefits. This is the TeenyTinyLlama pair: two compact models for Brazilian Portuguese text generation. We release them under the permissive Apache 2.0 license on GitHub and Hugging Face for community use and further development. See https://github.com/Nkluge-correa/TeenyTinyLlama

arxiv情報

提供元, 利用サービス

arxiv.jp, Google