Baby’s CoThought: Leveraging Large Language Models for Enhanced Reasoning in Compact Models

要約

大規模言語モデル(LLM)は、様々な自然言語理解(NLU)タスクにおいて顕著な性能を示すが、これは主にその文脈内学習能力によるものである。この能力は、LLMのChain of Thought (CoT)プロンプトを活用することで、より小さな「赤ちゃん」言語モデル(BabyLM)を効率的に学習する、我々の提案する「CoThought」パイプラインで利用される。このパイプラインは、GPT-3.5-turboを用いて100M以下のデータセットを再構築し、タスク指向の、人間が読めるテキストに変換する。次に、BabyLMは、RoBERTa（Liu et al.4つのベンチマークの評価において、我々のBabyLMは、10個の言語タスク、NLUタスク、質問応答タスクにおいて、RoBERTaベースを3ポイント以上上回り、文脈情報を抽出する優れた能力を示した。これらの結果は、LLMで構造化された小さなデータで事前学習されたコンパクトなLMが、タスクをより良く理解し、性能向上を達成できることを示唆している。データ処理とモデル学習のコードはhttps://github.com/oooranz/Baby-CoThought。

要約(オリジナル)

Large Language Models (LLMs) demonstrate remarkable performance on a variety of Natural Language Understanding (NLU) tasks, primarily due to their in-context learning ability. This ability is utilized in our proposed ‘CoThought’ pipeline, which efficiently trains smaller ‘baby’ language models (BabyLMs) by leveraging the Chain of Thought (CoT) prompting of LLMs. Our pipeline restructures a dataset of less than 100M in size using GPT-3.5-turbo, transforming it into task-oriented, human-readable texts that are comparable to the school texts for language learners. The BabyLM is then pretrained on this restructured dataset in a RoBERTa (Liu et al., 2019) fashion. In evaluations across 4 benchmarks, our BabyLM outperforms the RoBERTa-base in 10 linguistic, NLU, and question answering tasks by more than 3 points, showing superior ability to extract contextual information. These results suggest that compact LMs pretrained on small, LLM-restructured data can better understand tasks and achieve improved performance. The code for data processing and model training is available at: https://github.com/oooranz/Baby-CoThought.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL