TinyStyler: Efficient Few-Shot Text Style Transfer with Authorship Embeddings

要約

テキスト スタイル転送の目的は、多くの場合、ターゲット スタイルの例がわずかである場合に、元の意味を維持しながらテキストのスタイルを変換することです。
既存のスタイル転送方法は一般に、大規模な言語モデルの少数ショット機能や、非効率的で流暢さの指標ではパフォーマンスが劣る複雑な制御可能なテキスト生成アプローチに依存しています。
軽量かつ効果的なアプローチである TinyStyler を紹介します。これは、小規模な言語モデル (800M パラメーター) と事前トレーニングされた著者権限の埋め込みを利用して、効率的で少数のショットでテキスト スタイルの転送を実行します。
私たちは著者スタイルの転送という困難なタスクを評価し、TinyStyler が GPT-4 などの強力なアプローチよりも優れていることを発見しました。
また、TinyStyler がテキスト属性スタイル転送 (形式 $\leftrightarrow$ 非形式) を自動評価および人間による評価で実行する能力を評価し、このアプローチが最近の制御可能なテキスト生成方法よりも優れていることを発見しました。
私たちのモデルは https://huggingface.co/tinystyler/tinystyler で公開されています。

要約(オリジナル)

The goal of text style transfer is to transform the style of texts while preserving their original meaning, often with only a few examples of the target style. Existing style transfer methods generally rely on the few-shot capabilities of large language models or on complex controllable text generation approaches that are inefficient and underperform on fluency metrics. We introduce TinyStyler, a lightweight but effective approach, which leverages a small language model (800M params) and pre-trained authorship embeddings to perform efficient, few-shot text style transfer. We evaluate on the challenging task of authorship style transfer and find TinyStyler outperforms strong approaches such as GPT-4. We also evaluate TinyStyler’s ability to perform text attribute style transfer (formal $\leftrightarrow$ informal) with automatic and human evaluations and find that the approach outperforms recent controllable text generation methods. Our model has been made publicly available at https://huggingface.co/tinystyler/tinystyler .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google