Adapting Prompt for Few-shot Table-to-Text Generation

要約

事前トレーニング済み言語モデル (PLM) は、表からテキストへの生成タスクにおいて目覚ましい進歩を遂げました。
ただし、ドメイン固有の知識が不足しているため、特にリソースが限られている現実世界のアプリケーションでは、表形式のデータとテキストの間のトポロジ上のギャップを埋めることが困難になります。
不十分なラベル付きデータの制限を軽減するために、新しいフレームワークである Adapt-Prompt-to-Generate (AdaPTGen) を提案します。
AdaPTGen の核となる洞察は、ドメイン固有の知識のプロンプト テンプレートをモデルに適応させることであり、これにより少なくとも 3 つの利点がもたらされます。(1) 通常のテーブル関連の記述の表現を挿入して、表形式のデータとテキストの間のトポロジー ギャップを橋渡しします。
(2) ラベルのない大量のドメイン固有の知識を完全に使用できるようになり、ドメイン知識の欠如という PLM 固有の欠点を軽減できます。
(3) ドメイン固有の知識を探索するためのさまざまなタスクを設計できるようになります。
人間、歌、書籍という 3 つのオープンドメインの少数ショット自然言語生成 (NLG) データ セットに対して広範な実験と分析が行われています。
以前の最先端のアプローチと比較して、私たちのモデルは流暢さと精度の両方の点で優れたパフォーマンスを実現します。

要約(オリジナル)

Pretrained language models (PLMs) have made remarkable progress in table-to-text generation tasks. However, the lack of domain-specific knowledge makes it challenging to bridge the topological gap between tabular data and text, especially in real-world applications with limited resources. To mitigate the limitation of insufficient labeled data, we propose a novel framework: Adapt-Prompt-to-Generate (AdaPTGen). The core insight of AdaPTGen is to adapt prompt templates of domain-specific knowledge into the model, which brings at least three benefits: (1) it injects representation of normal table-related descriptions to bridge the topological gap between tabular data and texts; (2) it enables us to use large amounts of unlabeled domain-specific knowledge fully, which can alleviate the PLMs’ inherent shortcomings of lacking domain knowledge; (3) it allows us to design various tasks to explore the domain-specific knowledge. Extensive experiments and analyses are conducted on three open-domain few-shot natural language generation (NLG) data sets: Humans, Songs, and Books. Compared to previous state-of-the-art approaches, our model achieves superior performance in terms of both fluency and accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google