Plan-then-Seam: Towards Efficient Table-to-Text Generation

要約

表からテキストへの生成は、テキストを自動的に生成して、人々が表内の重要な情報を簡単に取得できるようにすることを目的としています。
最近の研究では、生成プロセスをコンテンツ計画段階と表面生成段階に明示的に分解し、それぞれに 2 つの自己回帰ネットワークを採用しています。
ただし、自己回帰復号化の並列化不可能な性質と 2 つのネットワークの冗長なパラメーターのために、計算コストが高くなります。
この論文では、単一のネットワークと並行して出力を生成する、最初の完全に非自己回帰的なテーブルからテキストへのモデル (Plan-then-Seam、PTS) を提案します。
PTS は、最初に新しい再考ポインター予測子を使用して生成されるコンテンツの 1 つのプランを作成および調整し、次にそのプランをコンテキストとして使用して、説明を解読します。
これらの 2 つのステップはパラメーターを共有し、並列デコードを維持しながら、トークンの相互依存関係を取得するために反復的に実行されます。
2 つの公開ベンチマークでの実験では、PTS が 3.0 ～ 5.6 倍の推論時間の高速化を達成し、パラメーターを 50% 削減しながら、強力な 2 段階のテーブルからテキストへの競合他社と比較して同等のパフォーマンスを維持することが示されています。

要約(オリジナル)

Table-to-text generation aims at automatically generating text to help people conveniently obtain salient information in tables. Recent works explicitly decompose the generation process into content planning and surface generation stages, employing two autoregressive networks for them respectively. However, they are computationally expensive due to the non-parallelizable nature of autoregressive decoding and the redundant parameters of two networks. In this paper, we propose the first totally non-autoregressive table-to-text model (Plan-then-Seam, PTS) that produces its outputs in parallel with one single network. PTS firstly writes and calibrates one plan of the content to be generated with a novel rethinking pointer predictor, and then takes the plan as the context for seaming to decode the description. These two steps share parameters and perform iteratively to capture token inter-dependency while keeping parallel decoding. Experiments on two public benchmarks show that PTS achieves 3.0~5.6 times speedup for inference time, reducing 50% parameters, while maintaining as least comparable performance against strong two-stage table-to-text competitors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google