MENLI: Robust Evaluation Metrics from Natural Language Inference

要約

最近提案されたテキスト生成用の BERT ベースの評価指標は、標準ベンチマークでは良好なパフォーマンスを示しますが、情報の正確性などに関連する敵対的攻撃に対して脆弱です。
私たちは、これは（部分的には）それらが意味上の類似性のモデルであるという事実から生じていると主張します。
対照的に、私たちは、より適切なモデリングであると考えられる自然言語推論 (NLI) に基づいて評価指標を開発します。
私たちは、設定ベースの敵対的攻撃フレームワークを設計し、NLI ベースのメトリクスが最近の BERT ベースのメトリクスよりも攻撃に対してはるかに堅牢であることを示します。
標準ベンチマークでは、NLI ベースのメトリクスは既存の要約メトリクスを上回っていますが、SOTA MT メトリクスを下回っています。
ただし、既存のメトリクスを NLI メトリクスと組み合わせると、標準ベンチマークで測定した場合に、より高い敵対的堅牢性 (15% ～ 30%) と高品質のメトリクス (+5% ～ 30%) の両方が得られます。

要約(オリジナル)

Recently proposed BERT-based evaluation metrics for text generation perform well on standard benchmarks but are vulnerable to adversarial attacks, e.g., relating to information correctness. We argue that this stems (in part) from the fact that they are models of semantic similarity. In contrast, we develop evaluation metrics based on Natural Language Inference (NLI), which we deem a more appropriate modeling. We design a preference-based adversarial attack framework and show that our NLI based metrics are much more robust to the attacks than the recent BERT-based metrics. On standard benchmarks, our NLI based metrics outperform existing summarization metrics, but perform below SOTA MT metrics. However, when combining existing metrics with our NLI metrics, we obtain both higher adversarial robustness (15%-30%) and higher quality metrics as measured on standard benchmarks (+5% to 30%).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google