MacLaSa: Multi-Aspect Controllable Text Generation via Efficient Sampling from Compact Latent Space

要約

マルチアスペクト制御可能なテキスト生成は、複数の望ましい属性を同時に持つ流暢な文章を生成することを目的としています。
従来の方法では、デコード段階で多くの演算子を組み合わせたり、多くの場合コストのかかる反復や離散テキスト空間での検索を行ったり、側面ごとに個別のコントローラーをトレーニングしたりするため、異なる側面間の不一致によりテキストの品質が低下します。
これらの制限に対処するために、マルチアスペクト制御のための新しいアプローチ、つまり MacLaSa を導入します。これは、複数のアスペクトのコンパクトな潜在空間を推定し、常微分方程式 (ODE) に基づいたロバストなサンプラーで効率的なサンプリングを実行します。
さまざまな側面間のドメインのギャップを排除するために、変分オートエンコーダー (VAE) ネットワークを利用して、さまざまなデータ ソースからのテキスト シーケンスを近い潜在表現にマッピングします。
推定された潜在空間により、共同エネルギーベース モデル (EBM) の定式化と、任意の属性識別子のプラグインを可能にして、マルチアスペクト制御を実現します。
その後、ODE ベースのサンプラーを使用して潜在ベクトル サンプルを描画し、サンプリングされたサンプルを VAE デコーダーにフィードして、ターゲット テキスト シーケンスを生成します。
実験結果は、MacLaSa が高い推論速度を維持しながら、属性の関連性とテキストの品質に関していくつかの強力なベースラインを上回っていることを示しています。

要約(オリジナル)

Multi-aspect controllable text generation aims to generate fluent sentences that possess multiple desired attributes simultaneously. Traditional methods either combine many operators in the decoding stage, often with costly iteration or search in the discrete text space, or train separate controllers for each aspect, resulting in a degeneration of text quality due to the discrepancy between different aspects. To address these limitations, we introduce a novel approach for multi-aspect control, namely MacLaSa, that estimates compact latent space for multiple aspects and performs efficient sampling with a robust sampler based on ordinary differential equations (ODEs). To eliminate the domain gaps between different aspects, we utilize a Variational Autoencoder (VAE) network to map text sequences from varying data sources into close latent representations. The estimated latent space enables the formulation of joint energy-based models (EBMs) and the plugging in of arbitrary attribute discriminators to achieve multi-aspect control. Afterwards, we draw latent vector samples with an ODE-based sampler and feed sampled examples to the VAE decoder to produce target text sequences. Experimental results demonstrate that MacLaSa outperforms several strong baselines on attribute relevance and textual quality while maintaining a high inference speed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google