Control-DAG: Constrained Decoding for Non-Autoregressive Directed Acyclic T5 using Weighted Finite State Automata

要約

有向非巡回トランスフォーマーは、ニューラル機械翻訳で優れたパフォーマンスを発揮する高速非自己回帰 (NAR) モデルです。
一般的な自然言語生成 (NLG) タスクへの適用には、頻繁に語彙外 (OOV) エラーが発生することと、エンティティ名を忠実に生成できないという 2 つの問題があります。
Control-DAG は、語彙、語彙、長さの制御を提供する Directed Acyclic T5 (DA-T5) モデルの制約付きデコード アルゴリズムです。
Control-DAG がスキーマ ガイド付きダイアログと DART データセットで DA-T5 を大幅に強化し、タスク指向ダイアログとデータからテキストへの NLG に対する強力な NAR 結果を確立することを示します。

要約(オリジナル)

The Directed Acyclic Transformer is a fast non-autoregressive (NAR) model that performs well in Neural Machine Translation. Two issues prevent its application to general Natural Language Generation (NLG) tasks: frequent Out-Of-Vocabulary (OOV) errors and the inability to faithfully generate entity names. We introduce Control-DAG, a constrained decoding algorithm for our Directed Acyclic T5 (DA-T5) model which offers lexical, vocabulary and length control. We show that Control-DAG significantly enhances DA-T5 on the Schema Guided Dialogue and the DART datasets, establishing strong NAR results for Task-Oriented Dialogue and Data-to-Text NLG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google