Faithful Low-Resource Data-to-Text Generation through Cycle Training

要約

構造化データからテキストを生成する方法は、主に大規模なデータセットでの事前トレーニング済み言語モデルの微調整により、近年大幅に進歩しました。
ただし、このようなモデルは、特にドメイン外データの場合、入力データに忠実な出力を生成できない可能性があります。
特定のドメインでは十分な注釈付きデータが利用できないことが多いため、出力テキストの忠実性を向上させるための教師なしアプローチを模索することになります。
基本的に問題は構造化データとテキストの表現間の一貫性の問題であるため、この作業ではサイクル トレーニングの有効性を評価します。
サイクル トレーニングでは、互いに逆の 2 つのモデルを使用します。1 つは構造化データからテキストを生成し、もう 1 つは自然言語テキストから構造化データを生成します。
サイクル トレーニングが少量の教師ありデータ (この例では 100 サンプル) で初期化された場合、WebNLG、E2E、WTQ、および
WSQL データセット。
私たちは、自動化された評価指標と新しく設計された人間による評価スキーマを使用して広範な実証分析を実行し、さまざまなタイプの生成エラーを削減するさまざまなサイクル トレーニング戦略の有効性を明らかにします。
私たちのコードは https://github.com/Edillower/CycleNLG で公開されています。

要約(オリジナル)

Methods to generate text from structured data have advanced significantly in recent years, primarily due to fine-tuning of pre-trained language models on large datasets. However, such models can fail to produce output faithful to the input data, particularly on out-of-domain data. Sufficient annotated data is often not available for specific domains, leading us to seek an unsupervised approach to improve the faithfulness of output text. Since the problem is fundamentally one of consistency between the representations of the structured data and text, we evaluate the effectiveness of cycle training in this work. Cycle training uses two models which are inverses of each other: one that generates text from structured data, and one which generates the structured data from natural language text. We show that cycle training, when initialized with a small amount of supervised data (100 samples in our case), achieves nearly the same performance as fully supervised approaches for the data-to-text generation task on the WebNLG, E2E, WTQ, and WSQL datasets. We perform extensive empirical analysis with automated evaluation metrics and a newly designed human evaluation schema to reveal different cycle training strategies’ effectiveness of reducing various types of generation errors. Our code is publicly available at https://github.com/Edillower/CycleNLG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google