Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency

要約

ニューラル セマンティック パーサーをトレーニングするためのスケーラブルな半教師あり手法である、Logical Offline Cycle Consistency Optimization (LOCCO) を紹介します。
概念的には、LOCCO は自己学習の形式とみなすことができ、トレーニング中のセマンティック パーサーを使用してラベルのないテキストの注釈を生成し、その後新しい監視として使用されます。
注釈の品質を向上させるために、私たちの方法では、有効な形式的意味表現に対するカウントベースの事前情報と、ニューラルテキスト生成モデルによって生成されたサイクル一貫性スコアを追加の信号として利用します。
事前パーサーとセマンティック パーサーは両方とも、トレーニング データのフル パスから交互の方法で更新されます。これは、確率的変分推論を通じて潜在構造の周縁化を近似していると見なすことができます。
カウントベースの事前凍結テキスト生成モデルとオフライン注釈プロセスを使用することにより、従来の自己学習と比較して、無視できるほどの複雑さと待ち時間の増加を伴うアプローチが得られます。
追加のボーナスとして、LOCCO によって生成された注釈は、ニューラル テキスト生成モデルをトレーニングするために簡単に再利用できます。
私たちは、有名な WebNLG ベンチマークで LOCCO の有用性を実証しました。同等の条件下で自己学習パーサーに対して 2 ポイントの改善が得られ、以前の最先端のパーサーに対して 1.3 ポイントの改善が得られ、競争力があります。
BLEU スコアに関するテキスト生成パフォーマンス。

要約(オリジナル)

We introduce Logical Offline Cycle Consistency Optimization (LOCCO), a scalable, semi-supervised method for training a neural semantic parser. Conceptually, LOCCO can be viewed as a form of self-learning where the semantic parser being trained is used to generate annotations for unlabeled text that are then used as new supervision. To increase the quality of annotations, our method utilizes a count-based prior over valid formal meaning representations and a cycle-consistency score produced by a neural text generation model as additional signals. Both the prior and semantic parser are updated in an alternate fashion from full passes over the training data, which can be seen as approximating the marginalization of latent structures through stochastic variational inference. The use of a count-based prior, frozen text generation model, and offline annotation process yields an approach with negligible complexity and latency increases as compared to conventional self-learning. As an added bonus, the annotations produced by LOCCO can be trivially repurposed to train a neural text generation model. We demonstrate the utility of LOCCO on the well-known WebNLG benchmark where we obtain an improvement of 2 points against a self-learning parser under equivalent conditions, an improvement of 1.3 points against the previous state-of-the-art parser, and competitive text generation performance in terms of BLEU score.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google