Textbooks Are All You Need II: phi-1.5 technical report

要約

私たちは、\textbf{TinyStories} (一貫した英語を生成できる 1,000 万のパラメーター モデル) によって開始された、より小規模な Transformer ベースの言語モデルの力についての調査を継続し、\textbf{phi-1} でのフォローアップ作業も続けています。
、最先端に近い Python コーディング パフォーマンスを備えた 13 億パラメータ モデル。
後者の研究では、従来の Web データと比較して学習プロセスを強化する方法として、既存の大規模言語モデル (LLM) を使用して「教科書品質」のデータを生成することを提案しました。
私たちは「必要なのは教科書だけ」のアプローチに従い、今回は自然言語での常識推論に焦点を当て、自然言語タスクのパフォーマンスがモデルに匹敵する \textbf{phi-1.5} という名前の新しい 13 億パラメータ モデルを作成しました。
5 倍の大きさで、小学校​​の数学や基本的なコーディングなどのより複雑な推論タスクにおいて、ほとんどの非フロンティア LLM を上回ります。
より一般的には、 \textbf{phi-1.5} は、「段階的に考える」能力や初歩的なコンテキスト内学習を実行する能力など、良い点と悪い点の両方を含む、はるかに大きな LLM の多くの特徴を示します。
幻覚や、有害で偏った世代が生まれる可能性があるが、心強いことに、ウェブデータがないおかげで、この面では改善が見られている。
私たちは、これらの緊急のトピックに関するさらなる研究を促進するために、\textbf{phi-1.5} をオープンソース化します。

要約(オリジナル)

We continue the investigation into the power of smaller Transformer-based language models as initiated by \textbf{TinyStories} — a 10 million parameter model that can produce coherent English — and the follow-up work on \textbf{phi-1}, a 1.3 billion parameter model with Python coding performance close to the state-of-the-art. The latter work proposed to use existing Large Language Models (LLMs) to generate “textbook quality’ data as a way to enhance the learning process compared to traditional web data. We follow the “Textbooks Are All You Need’ approach, focusing this time on common sense reasoning in natural language, and create a new 1.3 billion parameter model named \textbf{phi-1.5}, with performance on natural language tasks comparable to models 5x larger, and surpassing most non-frontier LLMs on more complex reasoning tasks such as grade-school mathematics and basic coding. More generally, \textbf{phi-1.5} exhibits many of the traits of much larger LLMs, both good — such as the ability to “think step by step’ or perform some rudimentary in-context learning — and bad, including hallucinations and the potential for toxic and biased generations — encouragingly though, we are seeing improvement on that front thanks to the absence of web data. We open-source \textbf{phi-1.5} to promote further research on these urgent topics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google