Replacing Language Model for Style Transfer

要約

テキスト スタイル転送 (TST) 用のシーケンス間言語モデリング フレームワークである置換言語モデル (RLM) を紹介します。
私たちの方法は、自己回帰的にソース文の各トークンを、同様の意味を持つターゲット スタイルのテキスト スパンに置き換えます。
新しいスパンは、非自己回帰マスク言語モデルを介して生成され、置き換えられたトークンのローカル コンテキストの意味をより適切に保存できます。
この RLM 生成スキームは、自己回帰モデルの柔軟性と非自己回帰モデルの精度を兼ね備えており、文レベルと単語レベルのスタイル転送方法の間のギャップを埋めます。
生成スタイルをより正確に制御するために、RLM の隠蔽表現に対してトークン レベルのスタイルとコンテンツのもつれの解除を実行します。
現実世界のテキスト データセットに関する実証結果は、他の TST ベースラインと比較した RLM の有効性を示しています。
コードは https://github.com/Linear95/RLM にあります。

要約(オリジナル)

We introduce replacing language model (RLM), a sequence-to-sequence language modeling framework for text style transfer (TST). Our method autoregressively replaces each token of the source sentence with a text span that has a similar meaning but in the target style. The new span is generated via a non-autoregressive masked language model, which can better preserve the local-contextual meaning of the replaced token. This RLM generation scheme gathers the flexibility of autoregressive models and the accuracy of non-autoregressive models, which bridges the gap between sentence-level and word-level style transfer methods. To control the generation style more precisely, we conduct a token-level style-content disentanglement on the hidden representations of RLM. Empirical results on real-world text datasets demonstrate the effectiveness of RLM compared with other TST baselines. The code is at https://github.com/Linear95/RLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google