PhoGPT: Generative Pre-training for Vietnamese

要約

当社は、ベトナム語向けの最先端の 4B パラメータ生成モデル シリーズをオープンソース化しています。これには、事前トレーニング済みの基本モデル PhoGPT-4B とそのチャット バリアントである PhoGPT-4B-Chat が含まれます。
基本モデルである PhoGPT-4B は、正確に 3.7B のパラメーターを持ち、20480 個のトークン タイプの語彙を使用し、コンテキスト長が 8192 で、102B トークンのベトナム語コーパスで最初から事前トレーニングされています。
チャットのバリアントである PhoGPT-4B-Chat は、70,000 の指示プロンプトとその応答、および追加の 290,000 の会話のデータセットで PhoGPT-4B を微調整することによって得られるモデリング出力です。
さらに、以前のオープンソース モデルと比較して優れたパフォーマンスも実証しています。
PhoGPT モデルは、https://github.com/VinAIResearch/PhoGPT から入手できます。

要約(オリジナル)

We open-source a state-of-the-art 4B-parameter generative model series for Vietnamese, which includes the base pre-trained monolingual model PhoGPT-4B and its chat variant, PhoGPT-4B-Chat. The base model, PhoGPT-4B, with exactly 3.7B parameters, is pre-trained from scratch on a Vietnamese corpus of 102B tokens, with an 8192 context length, employing a vocabulary of 20480 token types. The chat variant, PhoGPT-4B-Chat, is the modeling output obtained by fine-tuning PhoGPT-4B on a dataset of 70K instructional prompts and their responses, along with an additional 290K conversations. In addition, we also demonstrate its superior performance compared to previous open-source models. Our PhoGPT models are available at: https://github.com/VinAIResearch/PhoGPT

arxiv情報

提供元, 利用サービス

arxiv.jp, Google