Few-Shot Table-to-Text Generation with Prompt Planning and Knowledge Memorization

要約

事前トレーニング済み言語モデル (PLM) は、テーブルからテキストへの生成タスクにおいて目覚ましい進歩を遂げました。
ただし、ラベル付けされたドメイン固有の知識の欠如と、表形式のデータとテキストの間のトポロジーのギャップにより、PLM が忠実なテキストを生成することが困難になります。
同様に、低リソースの生成は、このドメインで独自の課題に直面しています。
人間が事前の知識で表形式のデータを記述する方法に着想を得て、新しいフレームワーク PromptMize を提案します。PromptMize は、少数ショット設定でのテーブルからテキストへの生成を対象としています。
フレームワークの設計は、プロンプト プランナーとナレッジ アダプターの 2 つの側面で構成されています。
プロンプト プランナーは、PLM が表形式のデータとテキストの間のトポロジ ギャップを埋めるためのインスタンス ガイダンスを提供するプロンプト シグナルを生成することを目的としています。
さらに、知識アダプターは、生成時に重要な情報を提供するために、ラベル付けされていないコーパスからドメイン固有の知識を記憶します。
人間、歌、本という 3 つのオープン ドメインの少数ショット NLG データセットで広範な実験と分析が調査されています。
以前の最先端のアプローチと比較して、私たちのモデルは、人的および自動評価によって判断される品質の生成において顕著なパフォーマンスを達成します。

要約(オリジナル)

Pre-trained language models (PLM) have achieved remarkable advancement in table-to-text generation tasks. However, the lack of labeled domain-specific knowledge and the topology gap between tabular data and text make it difficult for PLMs to yield faithful text. Low-resource generation likewise faces unique challenges in this domain. Inspired by how humans descript tabular data with prior knowledge, we suggest a new framework: PromptMize, which targets table-to-text generation under few-shot settings. The design of our framework consists of two aspects: a prompt planner and a knowledge adapter. The prompt planner aims to generate a prompt signal that provides instance guidance for PLMs to bridge the topology gap between tabular data and text. Moreover, the knowledge adapter memorizes domain-specific knowledge from the unlabelled corpus to supply essential information during generation. Extensive experiments and analyses are investigated on three open domain few-shot NLG datasets: human, song, and book. Compared with previous state-of-the-art approaches, our model achieves remarkable performance in generating quality as judged by human and automatic evaluations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google