TigerBot: An Open Multilingual Multitask LLM

要約

当社は、7、13、70、1,800 億のパラメーターのサイズのベース モデルとチャット モデルで構成される大規模言語モデル (LLM) の TigerBot ファミリをリリースおよび導入しています。
私たちは Llama-2 と BLOOM を基にしてモデルを開発し、データ、トレーニング アルゴリズム、インフラストラクチャ、アプリケーション ツールの境界をさらに押し広げています。
当社のモデルは、SOTA オープンソース モデル (Llama-2 など) と比べて大幅なパフォーマンス向上をもたらし、具体的には英語で 6%、中国語で 20% 向上しています。
TigerBot モデル ファミリーは、主要な学術および産業のベンチマークやリーダーボードでもトップクラスのパフォーマンスを達成しています。
私たちは、TigerBot は、LLM オープンソース コミュニティにおける電光石火の進歩のスナップショットにすぎないと信じています。
したがって、私たちは、民主化された方法で SOTA LLM を構築し、実世界のアプリケーションで LLM を使用できるようにすることに重点を置きながら、モデルを公開し、その背後にあるアプローチを報告することで恩返しできることを嬉しく思っています。

要約(オリジナル)

We release and introduce the TigerBot family of large language models (LLMs), consisting of base and chat models, sized from 7, 13, 70 and 180 billion parameters. We develop our models embarking from Llama-2 and BLOOM, and push the boundary further in data, training algorithm, infrastructure, and application tools. Our models yield meaningful performance gain over SOTA open-source models, e.g., Llama-2, specifically 6% gain in English and 20% gain in Chinese. TigerBot model family also achieves leading performance in major academic and industrial benchmarks and leaderboards. We believe that TigerBot represents just a snapshot of lightning-fast progression in LLM open-source community. Therefore, we are thrilled to give back by publicly releasing our models and reporting our approach behind, with additional emphases on building SOTA LLMs in a democratized way and making LLMs of use in real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google