Don’t Take This Out of Context! On the Need for Contextual Models and Evaluations for Stylistic Rewriting

要約

既存の文体的なテキスト書き換え手法と評価指標のほとんどは文レベルで機能しますが、テキストのより広範なコンテキストを無視すると、一般的で曖昧で一貫性のない書き換えが好まれる可能性があります。
この論文では、文体テキスト書き換えの $\textit{rewriting}$ 段階と $\textit{evaluation}$ 段階の両方に前述のテキスト コンテキストを統合する方法を調査し、新しい複合コンテキスト評価指標 $\texttt{CtxSimFit}$ を導入します。
元の文との類似性と文脈上の一貫性を組み合わせたものです。
私たちは、形式的、有害性、感情伝達タスクにおける非文脈的書き換えと文脈的書き換えを比較評価します。
私たちの実験では、人間は非文脈的な書き換えよりもより適切で自然な文脈上の書き換えを大幅に好むが、既存の文レベルの自動メトリクス (例: ROUGE、SBERT) は人間の好みとの相関性が低いことが示されています ($\rho$=0–0.3)
。
対照的に、人間の好みは、私たちの新しい $\texttt{CtxSimFit}$ ($\rho$=0.7–0.9) と、提案されているコンテキストを注入した一般的な指標のバージョン ($\rho$=0.4-) の両方によりよく反映されます。
-0.7)。
全体として、私たちの調査結果は、コンテキストを生成に統合すること、特に文体のテキスト書き換えの評価段階の重要性を強調しています。

要約(オリジナル)

Most existing stylistic text rewriting methods and evaluation metrics operate on a sentence level, but ignoring the broader context of the text can lead to preferring generic, ambiguous, and incoherent rewrites. In this paper, we investigate integrating the preceding textual context into both the $\textit{rewriting}$ and $\textit{evaluation}$ stages of stylistic text rewriting, and introduce a new composite contextual evaluation metric $\texttt{CtxSimFit}$ that combines similarity to the original sentence with contextual cohesiveness. We comparatively evaluate non-contextual and contextual rewrites in formality, toxicity, and sentiment transfer tasks. Our experiments show that humans significantly prefer contextual rewrites as more fitting and natural over non-contextual ones, yet existing sentence-level automatic metrics (e.g., ROUGE, SBERT) correlate poorly with human preferences ($\rho$=0–0.3). In contrast, human preferences are much better reflected by both our novel $\texttt{CtxSimFit}$ ($\rho$=0.7–0.9) as well as proposed context-infused versions of common metrics ($\rho$=0.4–0.7). Overall, our findings highlight the importance of integrating context into the generation and especially the evaluation stages of stylistic text rewriting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google