Generative Pretrained Structured Transformers: Unsupervised Syntactic Language Models at Scale

要約

構文言語モデル (SLM) は、左から右の方法で構文ツリーを含む文を増分的に生成します。
我々は、生のテキストを高い並列性でゼロから事前トレーニングできる大規模な教師なし SLM である Generative Pretrained Structured Transformers (GPST) を紹介します。
GPST は、ゴールド ツリーや逐次トレーニングへの依存など、以前の SLM の制限を回避します。
これは、単方向言語モデリング損失によって監視される通常の SLM と、双方向言語モデリング損失によって監視される、構文解析ツリーを誘導し構成表現を計算する追加の構成モデルの 2 つのコンポーネントで構成されます。
ハード EM 方式で 2 つのモデルの共同並列トレーニングを可能にする表現サロゲートを提案します。
私たちは、90億ドルのトークンを含むコーパスであるOpenWebTextでGPSTを事前トレーニングし、言語理解と言語生成の両方をカバーする多数のタスクにおいて、同等のサイズでGPT-2よりもGPSTが優れていることを実証しました。
一方、GPST は、左から右への文法導入に関して既存の教師なし SLM よりも大幅に優れており、トレーニングでは大幅な加速を維持します。

要約(オリジナル)

A syntactic language model (SLM) incrementally generates a sentence with its syntactic tree in a left-to-right manner. We present Generative Pretrained Structured Transformers (GPST), an unsupervised SLM at scale capable of being pre-trained from scratch on raw texts with high parallelism. GPST circumvents the limitations of previous SLMs such as relying on gold trees and sequential training. It consists of two components, a usual SLM supervised by a uni-directional language modeling loss, and an additional composition model, which induces syntactic parse trees and computes constituent representations, supervised by a bi-directional language modeling loss. We propose a representation surrogate to enable joint parallel training of the two models in a hard-EM fashion. We pre-train GPST on OpenWebText, a corpus with $9$ billion tokens, and demonstrate the superiority of GPST over GPT-2 with a comparable size in numerous tasks covering both language understanding and language generation. Meanwhile, GPST also significantly outperforms existing unsupervised SLMs on left-to-right grammar induction, while holding a substantial acceleration on training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google