Distilling Text Style Transfer With Self-Explanation From LLMs

要約

テキストスタイルトランスファー（TST）は、テキストの核となる内容を保持したまま、テキストのスタイルを変更しようとするものである。TSTのための並列データセットが限られているという制約を考慮し、我々は、TSTを促進するために思考連鎖（CoT）プロンプトと並行して大規模言語モデル（LLM）を活用するフレームワークであるCoTeXを提案する。CoTeXは、LLMの複雑な書き換えと推論能力を、非並列と並列の両方のデータを扱うことができる、より合理化されたモデルに抽出する。4つのTSTデータセットの実験を通して、CoTeXは、特に低リソース環境において、従来の教師ありの微調整や知識抽出手法を凌駕することが示された。CoTeXを現在の教師なし、教師あり、文脈内学習（ICL）技術、および命令チューニングされたLLMと比較し、包括的な評価を実施。さらに、CoTeXは、スタイル転送プロセスについて透明性のある説明を提供することで、その特徴を際立たせています。

要約(オリジナル)

Text Style Transfer (TST) seeks to alter the style of text while retaining its core content. Given the constraints of limited parallel datasets for TST, we propose CoTeX, a framework that leverages large language models (LLMs) alongside chain-of-thought (CoT) prompting to facilitate TST. CoTeX distills the complex rewriting and reasoning capabilities of LLMs into more streamlined models capable of working with both non-parallel and parallel data. Through experimentation across four TST datasets, CoTeX is shown to surpass traditional supervised fine-tuning and knowledge distillation methods, particularly in low-resource settings. We conduct a comprehensive evaluation, comparing CoTeX against current unsupervised, supervised, in-context learning (ICL) techniques, and instruction-tuned LLMs. Furthermore, CoTeX distinguishes itself by offering transparent explanations for its style transfer process.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL