JIANG: Chinese Open Foundation Language Model

要約

大規模言語モデル技術の進歩により、さまざまなタスクにわたって人間に近い能力が実証されました。
この成果は企業や科学研究機関から大きな関心を集め、これらのモデルの研究開発への多額の投資につながりました。
この期間中に多数の大規模なモデルが登場しましたが、その大部分は主に英語のデータでトレーニングされました。
中国語などの他の言語ではそれなりのパフォーマンスを示しますが、語彙の設計やトレーニング コーパスなどの要因により、その可能性は依然として限られています。
その結果、中国語で自分の能力を十分に表現する能力が不足しています。
この問題に対処するために、中国語専用に設計された JIANG (中国語のショウガのピンイン) という名前のモデルを導入します。
モデルをトレーニングするためにかなりの量の中国語コーパスを収集し、その構造も最適化しました。
広範な実験結果により、私たちのモデルの優れたパフォーマンスが実証されています。

要約(オリジナル)

With the advancements in large language model technology, it has showcased capabilities that come close to those of human beings across various tasks. This achievement has garnered significant interest from companies and scientific research institutions, leading to substantial investments in the research and development of these models. While numerous large models have emerged during this period, the majority of them have been trained primarily on English data. Although they exhibit decent performance in other languages, such as Chinese, their potential remains limited due to factors like vocabulary design and training corpus. Consequently, their ability to fully express their capabilities in Chinese falls short. To address this issue, we introduce the model named JIANG (Chinese pinyin of ginger) specifically designed for the Chinese language. We have gathered a substantial amount of Chinese corpus to train the model and have also optimized its structure. The extensive experimental results demonstrate the excellent performance of our model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google