TeleChat Technical Report

要約

この技術レポートでは、30 億、70 億、120 億のパラメータを持つ大規模言語モデル (LLM) のコレクションである TeleChat を紹介します。
これには、事前トレーニングされた言語モデルと、人間の好みに合わせて微調整されたチャット モデルが含まれています。
TeleChat は最初、数兆のトークンを含む、英語と中国語の両方の言語の多様なテキストのコレクションを含む広範なコーパスで事前トレーニングされています。
その後、説明する詳細な方法論に従って、モデルは人間の好みに合わせて微調整されます。
私たちは、言語理解、数学、推論、コード生成、知識ベースの質問応答など、さまざまなタスクにおける TeleChat のパフォーマンスを評価します。
私たちの調査結果は、TeleChat が幅広い公開ベンチマークにわたって、同様のサイズの他のオープンソース モデルと同等のパフォーマンスを達成していることを示しています。
LLM を利用した将来の研究とアプリケーションをサポートするために、TeleChat の 7B および 12B バリアントの微調整されたモデル チェックポイントを、コードと事前トレーニング データの一部とともに公開コミュニティにリリースします。

要約(オリジナル)

In this technical report, we present TeleChat, a collection of large language models (LLMs) with parameters of 3 billion, 7 billion and 12 billion. It includes pretrained language models as well as fine-tuned chat models that is aligned with human preferences. TeleChat is initially pretrained on an extensive corpus containing a diverse collection of texts from both English and Chinese languages, including trillions of tokens. Subsequently, the model undergoes fine-tuning to align with human preferences, following a detailed methodology that we describe. We evaluate the performance of TeleChat on various tasks, including language understanding, mathematics, reasoning, code generation, and knowledge-based question answering. Our findings indicate that TeleChat achieves comparable performance to other open-source models of similar size across a wide range of public benchmarks. To support future research and applications utilizing LLMs, we release the fine-tuned model checkpoints of TeleChat’s 7B and 12B variant, along with code and a portion of our pretraining data, to the public community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google