Prompt-Based Editing for Text Style Transfer

要約

最近、テキスト スタイル転送でプロンプト アプローチが検討されています。テキスト プロンプトを使用して事前トレーニング済み言語モデルをクエリし、スタイル転送されたテキストを自己回帰的に単語ごとに生成します。
ただし、このような生成プロセスは制御性が低く、初期の予測エラーが将来の単語の予測に影響を与える可能性があります。
この論文では、テキスト スタイル転送のためのプロンプトベースの編集アプローチを紹介します。
具体的には、スタイル分類のために事前トレーニングされた言語モデルをプロンプトし、分類確率を使用してスタイル スコアを計算します。
次に、単語レベルの編集を伴う離散検索を実行して、スタイル転送タスクの包括的なスコアリング関数を最大化します。
このようにして、プロンプトベースの生成問題を分類問題に変換します。これはトレーニング不要のプロセスであり、文の自己回帰生成よりも制御可能です。
私たちの実験では、3 つのスタイル転送ベンチマーク データセットに対して自動評価と人間による評価の両方を実行し、私たちのアプローチが 20 倍のパラメーターを持つ最先端のシステムを大幅に上回るパフォーマンスを示しました。
追加の実証分析により、私たちのアプローチの有効性がさらに実証されました。

要約(オリジナル)

Prompting approaches have been recently explored in text style transfer, where a textual prompt is used to query a pretrained language model to generate style-transferred texts word by word in an autoregressive manner. However, such a generation process is less controllable and early prediction errors may affect future word predictions. In this paper, we present a prompt-based editing approach for text style transfer. Specifically, we prompt a pretrained language model for style classification and use the classification probability to compute a style score. Then, we perform discrete search with word-level editing to maximize a comprehensive scoring function for the style-transfer task. In this way, we transform a prompt-based generation problem into a classification one, which is a training-free process and more controllable than the autoregressive generation of sentences. In our experiments, we performed both automatic and human evaluation on three style-transfer benchmark datasets, and show that our approach largely outperforms the state-of-the-art systems that have 20 times more parameters. Additional empirical analyses further demonstrate the effectiveness of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google