Yi: Open Foundation Models by 01.AI

要約

強力な多次元機能を実証する一連の言語およびマルチモーダル モデルである Yi モデル ファミリーを紹介します。
Yi モデル ファミリは、6B および 34B の事前トレーニング済み言語モデルに基づいており、それをチャット モデル、200K ロング コンテキスト モデル、深度アップスケール モデル、およびビジョン言語モデルに拡張します。
当社の基本モデルは、MMLU などの幅広いベンチマークで優れたパフォーマンスを達成し、微調整されたチャット モデルは、AlpacaEval や Chatbot Arena などの主要な評価プラットフォームで高い人間の選好率を実現します。
スケーラブルなスーパーコンピューティング インフラストラクチャと古典的なトランスフォーマー アーキテクチャを基盤としており、Yi モデルのパフォーマンスは主にデータ エンジニアリングの取り組みから得られるデータ品質に起因すると考えられます。
事前トレーニングのために、カスケードされたデータ重複排除と品質フィルタリング パイプラインを使用して、英語と中国語のコーパスの 3 兆 1,000 億のトークンを構築します。
微調整のために、すべてのインスタンスが当社の機械学習エンジニアによって直接検証されるように、小規模 (10K 未満) の命令データセットを複数回の反復にわたって磨き上げます。
ビジョン言語の場合、チャット言語モデルをビジョン トランスフォーマー エンコーダーと組み合わせ、視覚表現を言語モデルの意味空間に合わせるようにモデルをトレーニングします。
軽量の継続的事前トレーニングによってコンテキストの長さをさらに 200K まで拡張し、干し草の山の中の針を刺すような強力な検索パフォーマンスを実証します。
継続的な事前トレーニングによって事前トレーニングされたチェックポイントの深さを拡張すると、パフォーマンスがさらに向上することを示します。
現在の結果を考慮すると、徹底的に最適化されたデータを使用してモデルパラメータをスケールアップし続けることが、より強力なフロンティアモデルにつながると信じています。

要約(オリジナル)

We introduce the Yi model family, a series of language and multimodal models that demonstrate strong multi-dimensional capabilities. The Yi model family is based on 6B and 34B pretrained language models, then we extend them to chat models, 200K long context models, depth-upscaled models, and vision-language models. Our base models achieve strong performance on a wide range of benchmarks like MMLU, and our finetuned chat models deliver strong human preference rate on major evaluation platforms like AlpacaEval and Chatbot Arena. Building upon our scalable super-computing infrastructure and the classical transformer architecture, we attribute the performance of Yi models primarily to its data quality resulting from our data-engineering efforts. For pretraining, we construct 3.1 trillion tokens of English and Chinese corpora using a cascaded data deduplication and quality filtering pipeline. For finetuning, we polish a small scale (less than 10K) instruction dataset over multiple iterations such that every single instance has been verified directly by our machine learning engineers. For vision-language, we combine the chat language model with a vision transformer encoder and train the model to align visual representations to the semantic space of the language model. We further extend the context length to 200K through lightweight continual pretraining and demonstrate strong needle-in-a-haystack retrieval performance. We show that extending the depth of the pretrained checkpoint through continual pretraining further improves performance. We believe that given our current results, continuing to scale up model parameters using thoroughly optimized data will lead to even stronger frontier models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google