Learning to Plan for Language Modeling from Unlabeled Data

要約

ラベルなしコーパス内の次のトークンを予測するようにトレーニングすることにより、大規模な言語モデルはラベル付きデータなしで多くのタスクを実行することを学習します。
ただし、次のトークンを予測するという目的により、一貫した記事を書くなど、計画が必要なシナリオでのパフォーマンスが制限される可能性があります。
この論文では、自己教師あり学習目標を通じて将来の執筆プロセスを計画するためのモジュールをトレーニングします。
テキストのコンテキストを考慮すると、この計画モジュールは、クラスター化されたテキスト埋め込み空間の重心に対応する、将来の抽象的な書き込みアクションを予測することを学習します。
これらのアクションを条件付けることで、私たちのモデルは、成功する言語モデルの公式を教師なしの方法でより抽象的な計画に拡張します。
経験的に、私たちの方法は言語モデリングのパフォーマンス全般、特にテキスト構造に関して向上することを示しています。
私たちのフレームワークは、教師なしで言語モデルの外部にあるプランナー モジュールを使用するため、新しいプランナー モジュールを大規模にトレーニングし、コミュニティと簡単に共有できます。

要約(オリジナル)

By training to predict the next token in an unlabeled corpus, large language models learn to perform many tasks without any labeled data. However, their next-token-prediction objective arguably limits their performance in scenarios that require planning, such as writing a coherent article. In this paper, we train a module for planning the future writing process via a self-supervised learning objective. Given the textual context, this planning module learns to predict future abstract writing actions, which correspond to centroids in a clustered text embedding space. By conditioning on these actions, our model extends the successful language model formula to more abstract planning in an unsupervised way. Empirically, we demonstrate that our method improves language modeling performance in general, particularly with respect to the text structure. Because our framework uses a planner module that is unsupervised and external to the language model, new planner modules can be trained at large scale and easily be shared with the community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google