SETTP: Style Extraction and Tunable Inference via Dual-level Transferable Prompt Learning

要約

自然言語処理における重要な研究方向であるテキスト スタイルの転送は、テキストをさまざまな好みに適応させることを目的としていますが、リソースが限られているという課題に直面することがよくあります。
この研究では、低リソースのシナリオで効果的にスタイルを転送するために、デュアルレベル転送可能プロンプト学習 (SETTP) によるスタイル抽出と調整可能な推論と呼ばれる新しい方法を導入します。
まず、SETTP は、高リソースのスタイル転送から基本的なスタイル特性を含むソース スタイル レベルのプロンプトを学習します。
トレーニング中、ソース スタイル レベル プロンプトはアテンション モジュールを介して転送され、低リソース スタイルの転送で有益な知識を提供するためのターゲット スタイル レベル プロンプトが導出されます。
さらに、セマンティック バイアスを軽減するために、セマンティック コンテンツに基づいてターゲット リソースをクラスタリングすることによって取得されるインスタンス レベルのプロンプトを提案します。
また、ChatGPT-4 を使用した人間による評価との整合に基づいた、スタイルの類似性の自動評価アプローチも提案します。
3 つのリソース豊富なスタイルにわたる実験では、SETTP が最先端の手法と同等のパフォーマンスを達成するために必要なデータ量はわずか 20 分の 1 であることがわかりました。
書き方や役割スタイルなどの希少データを伴うタスクでは、SETTP は以前の方法よりも 16.24\% 優れたパフォーマンスを発揮します。

要約(オリジナル)

Text style transfer, an important research direction in natural language processing, aims to adapt the text to various preferences but often faces challenges with limited resources. In this work, we introduce a novel method termed Style Extraction and Tunable Inference via Dual-level Transferable Prompt Learning (SETTP) for effective style transfer in low-resource scenarios. First, SETTP learns source style-level prompts containing fundamental style characteristics from high-resource style transfer. During training, the source style-level prompts are transferred through an attention module to derive a target style-level prompt for beneficial knowledge provision in low-resource style transfer. Additionally, we propose instance-level prompts obtained by clustering the target resources based on the semantic content to reduce semantic bias. We also propose an automated evaluation approach of style similarity based on alignment with human evaluations using ChatGPT-4. Our experiments across three resourceful styles show that SETTP requires only 1/20th of the data volume to achieve performance comparable to state-of-the-art methods. In tasks involving scarce data like writing style and role style, SETTP outperforms previous methods by 16.24\%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google