Are Large Language Models Actually Good at Text Style Transfer?

要約

私たちは、テキスト スタイル転送 (TST) に関する大規模言語モデル (LLM) のパフォーマンスを分析します。特に、英語、ヒンディー語、ベンガル語の 3 つの言語にわたる感情伝達とテキストの無毒化に焦点を当てています。
テキスト スタイルの転送には、テキストの中心的な内容を維持しながら、テキストの言語スタイルを変更することが含まれます。
ゼロショットおよび少数ショットのプロンプトと、公開されているデータセットに対するパラメータ効率の高い微調整を使用して、事前トレーニングされた LLM の機能を評価します。
自動メトリクス、GPT-4、および人間による評価を使用した評価では、一部のプロンプト LLM は英語では優れたパフォーマンスを発揮しますが、他の言語 (ヒンディー語、ベンガル語) では平均的なパフォーマンスにとどまっていることが明らかになりました。
ただし、微調整により、ゼロ ショットおよび少数ショット プロンプトと比較して結果が大幅に向上し、以前の最先端のプロンプトと同等になります。
これは、効果的な TST には専用のデータセットと特殊なモデルの必要性を強調しています。

要約(オリジナル)

We analyze the performance of large language models (LLMs) on Text Style Transfer (TST), specifically focusing on sentiment transfer and text detoxification across three languages: English, Hindi, and Bengali. Text Style Transfer involves modifying the linguistic style of a text while preserving its core content. We evaluate the capabilities of pre-trained LLMs using zero-shot and few-shot prompting as well as parameter-efficient finetuning on publicly available datasets. Our evaluation using automatic metrics, GPT-4 and human evaluations reveals that while some prompted LLMs perform well in English, their performance in on other languages (Hindi, Bengali) remains average. However, finetuning significantly improves results compared to zero-shot and few-shot prompting, making them comparable to previous state-of-the-art. This underscores the necessity of dedicated datasets and specialized models for effective TST.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google