Multidimensional Evaluation for Text Style Transfer Using ChatGPT

要約

タイトル：ChatGPTを使用した多次元評価によるテキストスタイル変換の評価
要約：
– ChatGPTは多次元評価者としての潜在能力を調査し、既存の自動評価尺度や人間の判断と比較して、テキストスタイル変換のタスクを行う際の性能をテストする。
– 人間から与えられたタスク指示を使用して、ゼロショット設定で性能を評価し、スタイルの強さ、内容の保存、流暢性の3つの一般的に使用されるテキストスタイル変換の評価指標に焦点を当てる。
– 異なるレベルで2つの転送方向（および全体）について包括的な相関分析を実施する。ChatGPTは既存の自動評価尺度よりも、人間の判断との相関が高く、競争力のある結果を示す。
– これらの予備的な結果は、スタイル化されたテキスト生成の多次元評価における大規模言語モデルの役割について、最初の一歩を提供することが期待される。

要約(オリジナル)

We investigate the potential of ChatGPT as a multidimensional evaluator for the task of \emph{Text Style Transfer}, alongside, and in comparison to, existing automatic metrics as well as human judgements. We focus on a zero-shot setting, i.e. prompting ChatGPT with specific task instructions, and test its performance on three commonly-used dimensions of text style transfer evaluation: style strength, content preservation, and fluency. We perform a comprehensive correlation analysis for two transfer directions (and overall) at different levels. Compared to existing automatic metrics, ChatGPT achieves competitive correlations with human judgments. These preliminary results are expected to provide a first glimpse into the role of large language models in the multidimensional evaluation of stylized text generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI