DeepStruct: Pretraining of Language Models for Structure Prediction

要約

我々は、言語モデルの構造理解能力を向上させる手法を紹介する。タスクに特化した拡張でモデルを微調整するこれまでのアプローチとは異なり、我々は、テキストから構造を生成するために、タスクにとらわれないコーパスのコレクションで言語モデルを事前訓練する。我々の構造事前訓練は、モデルが構造タスクについて学習した知識をゼロショットで転送することを可能にする。我々は、オープン情報抽出、実体と関係の結合抽出、名前付き実体の認識、関係分類、意味役割ラベリング、イベント抽出、共参照解決、事実調査、意図検出、対話状態追跡を含む10の構造予測タスクにまたがる28データセットでこのアプローチの性能を研究する。我々は、タスクに特化した訓練セットによる事前学習をさらに強化する。10Bパラメータの言語モデルは、ほとんどのタスクに自明でなく移行し、評価した28のデータセットのうち21で最新鋭の性能を得ることを示す。

要約(オリジナル)

We introduce a method for improving the structural understanding abilities of language models. Unlike previous approaches that finetune the models with task-specific augmentation, we pretrain language models on a collection of task-agnostic corpora to generate structures from text. Our structure pretraining enables zero-shot transfer of the learned knowledge that models have about the structure tasks. We study the performance of this approach on 28 datasets, spanning 10 structure prediction tasks including open information extraction, joint entity and relation extraction, named entity recognition, relation classification, semantic role labeling, event extraction, coreference resolution, factual probe, intent detection, and dialogue state tracking. We further enhance the pretraining with the task-specific training sets. We show that a 10B parameter language model transfers non-trivially to most tasks and obtains state-of-the-art performance on 21 of 28 datasets that we evaluate.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL