要約
大規模言語モデル (LLM) は、数学的推論を含むさまざまな自然言語処理 (NLP) タスクを解決する大きな可能性を示しています。
この研究では、130 億のパラメータを持つ数学の大規模言語モデルである SkyMath を紹介します。
自己比較微調整を適用することにより、Skywork-13B-Base の数学的推論能力が著しく向上しました。
GSM8K では、SkyMath は同様のサイズの既知のオープンソース モデルすべてを上回り、新しい SOTA パフォーマンスを確立しました。
要約(オリジナル)
Large language models (LLMs) have shown great potential to solve varieties of natural language processing (NLP) tasks, including mathematical reasoning. In this work, we present SkyMath, a large language model for mathematics with 13 billion parameters. By applying self-compare fine-tuning, we have enhanced mathematical reasoning abilities of Skywork-13B-Base remarkably. On GSM8K, SkyMath outperforms all known open-source models of similar size and has established a new SOTA performance.
arxiv情報
| 著者 | Liu Yang,Haihua Yang,Wenjun Cheng,Lei Lin,Chenxia Li,Yifu Chen,Lunan Liu,Jianfei Pan,Tianwen Wei,Biye Li,Liang Zhao,Lijie Wang,Bo Zhu,Jujie He,Guoliang Li,Xuejie Wu,Xilin Luo,Rui Hu |
| 発行日 | 2023-10-25 15:34:55+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google