ToW: Thoughts of Words Improve Reasoning in Large Language Models

要約

次の単語を予測するための新しいトレーニング時間データ拡張方法である Thoughts of Words (ToW) を紹介します。
ToW は、次の単語の予測を中核的な推論タスクとみなして、次の単語がどうあるべきか、およびそれが事前トレーニング テキスト内の前のコンテキストとどのように関連しているかを説明する詳細な考えを注入します。
私たちの定式化は、既存の次単語予測学習スキームの 2 つの基本的な欠点に対処します。それは、事実の幻覚を誘発し、モデルが生のテキストで暗黙の推論プロセスを学習するのが非効率的であるということです。
このような単語の思考を取得する方法はたくさんありますが、ここでは、より大きなモデルから抽出することによって ToW アノテーションを取得する最初のステップを検討します。
わずか 70,000 個の ToW アノテーションを使用した継続的な事前トレーニングの後、モデルの推論パフォーマンスが平均 7% ～ 9% 効果的に向上し、モデルの幻覚が最大 10% 減少しました。
同時に、ToW はタスクやアプリケーションに完全に依存せず、ラベルやセマンティクスに追加のバイアスを導入しません。

要約(オリジナル)

We introduce thoughts of words (ToW), a novel training-time data-augmentation method for next-word prediction. ToW views next-word prediction as a core reasoning task and injects fine-grained thoughts explaining what the next word should be and how it is related to the previous contexts in pre-training texts. Our formulation addresses two fundamental drawbacks of existing next-word prediction learning schemes: they induce factual hallucination and are inefficient for models to learn the implicit reasoning processes in raw texts. While there are many ways to acquire such thoughts of words, we explore the first step of acquiring ToW annotations through distilling from larger models. After continual pre-training with only 70K ToW annotations, we effectively improve models’ reasoning performances by 7% to 9% on average and reduce model hallucination by up to 10%. At the same time, ToW is entirely agnostic to tasks and applications, introducing no additional biases on labels or semantics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google