Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone

要約

私たちは、3.3 兆のトークンでトレーニングされた 38 億のパラメーターの言語モデルである phi-3-mini を紹介します。その全体的なパフォーマンスは、学術ベンチマークと内部テストの両方で測定すると、Mixtral 8x7B や GPT-3.5 (例: phi) などのモデルに匹敵します。
-3-mini は、電話機に導入できるほど小さいにもかかわらず、MMLU で 69%、MT-bench で 8.38 を達成します。
このイノベーションは完全にトレーニング用のデータセットにあります。これは、phi-2 で使用されるデータセットのスケールアップ バージョンであり、高度にフィルタリングされた Web データと合成データで構成されています。
このモデルは、堅牢性、安全性、チャット形式についてもさらに調整されています。
また、4.8T トークン用にトレーニングされた phi-3-small および phi-3-medium と呼ばれる 7B および 14B モデルを使用した初期パラメーター スケーリング結果も提供します。どちらも phi-3-mini よりも大幅に能力が高くなります (例、それぞれ 75%)。
MMLU では 78%、MT ベンチでは 8.7 と 8.9)。

要約(オリジナル)

We introduce phi-3-mini, a 3.8 billion parameter language model trained on 3.3 trillion tokens, whose overall performance, as measured by both academic benchmarks and internal testing, rivals that of models such as Mixtral 8x7B and GPT-3.5 (e.g., phi-3-mini achieves 69% on MMLU and 8.38 on MT-bench), despite being small enough to be deployed on a phone. The innovation lies entirely in our dataset for training, a scaled-up version of the one used for phi-2, composed of heavily filtered web data and synthetic data. The model is also further aligned for robustness, safety, and chat format. We also provide some initial parameter-scaling results with a 7B and 14B models trained for 4.8T tokens, called phi-3-small and phi-3-medium, both significantly more capable than phi-3-mini (e.g., respectively 75% and 78% on MMLU, and 8.7 and 8.9 on MT-bench).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google