Few-Shot Table-to-Text Generation with Prompt-based Adapter

要約

事前トレーニング済み言語モデル (PLM) は、テーブルからテキストへの生成タスクで目覚ましい進歩を遂げました。
ただし、表形式のデータとテキストの間のトポロジーのギャップと、ドメイン固有の知識の欠如により、PLM が忠実なテキストを作成することは困難です。特に、リソースが限られている実際のアプリケーションではそうです。
このホワイト ペーパーでは、新しい拡張方法を導入することで上記の課題を軽減します。プロンプトベースのアダプター (PA) は、少数ショット条件下でのテーブルからテキストへの生成を対象としています。
PA の核となるインサイト設計は、アダプタを介して表形式のデータと説明の間の構造的なギャップを埋めるために、ドメイン固有の知識とテーブル関連の表現をモデルに追加するためのプロンプト テンプレートを挿入することです。
このようなプロンプトベースの知識増強方法は、少なくとも 2 つの利点をもたらします。
(2) 生成的課題をサポートするさまざまなタイプのタスクを設計することができます。
人間、本、歌の 3 つのオープン ドメインの少数ショット NLG データセットに対して広範な実験と分析が行われます。
以前の最先端のアプローチと比較して、私たちのモデルは、人間および自動評価によって判断される流暢さと正確さの両方の点で優れたパフォーマンスを実現します。

要約(オリジナル)

Pre-trained language models (PLMs) have made remarkable progress in table-to-text generation tasks. However, the topological gap between tabular data and text and the lack of domain-specific knowledge make it difficult for PLMs to produce faithful text, especially in real-world applications with limited resources. In this paper, we mitigate the above challenges by introducing a novel augmentation method: Prompt-based Adapter (PA), which targets table-to-text generation under few-shot conditions. The core insight design of the PA is to inject prompt templates for augmenting domain-specific knowledge and table-related representations into the model for bridging the structural gap between tabular data and descriptions through adapters. Such prompt-based knowledge augmentation method brings at least two benefits: (1) enables us to fully use the large amounts of unlabelled domain-specific knowledge, which can alleviate the PLMs’ inherent shortcomings of lacking domain knowledge; (2) allows us to design different types of tasks supporting the generative challenge. Extensive experiments and analyses are conducted on three open-domain few-shot NLG datasets: Humans, Books, and Songs. Compared to previous state-of-the-art approaches, our model achieves superior performance in terms of both fluency and accuracy as judged by human and automatic evaluations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google