MENLI: Robust Evaluation Metrics from Natural Language Inference

要約

タイトル：自然言語推論からの頑健な評価指標「メンリ」
要約：
– BERTベースのテキスト生成用評価指標は、標準ベンチマークではうまく機能するが、情報の正確性に関連する攻撃に対して脆弱であることが最近示された。
– この問題は意味の類似性のモデルであることに起因している可能性があるため、自然言語推論（NLI）に基づく評価指標を開発した。
– このNLIベースのメトリックは、既存の要約メトリックよりも標準ベンチマークで優れているが、SOTA MTメトリックよりは劣っている。
– しかし、既存のメトリックとNLIメトリックを組み合わせると、高い逆強化耐性(15-30%)と標準ベンチマークでの高品質のメトリック(+5%から30%)を両立できることが示された。
– この研究は、自然言語処理における評価指標の重要性を強調し、攻撃に強い評価指標の必要性を示している。

要約(オリジナル)

Recently proposed BERT-based evaluation metrics for text generation perform well on standard benchmarks but are vulnerable to adversarial attacks, e.g., relating to information correctness. We argue that this stems (in part) from the fact that they are models of semantic similarity. In contrast, we develop evaluation metrics based on Natural Language Inference (NLI), which we deem a more appropriate modeling. We design a preference-based adversarial attack framework and show that our NLI based metrics are much more robust to the attacks than the recent BERT-based metrics. On standard benchmarks, our NLI based metrics outperform existing summarization metrics, but perform below SOTA MT metrics. However, when combining existing metrics with our NLI metrics, we obtain both higher adversarial robustness (15%-30%) and higher quality metrics as measured on standard benchmarks (+5% to 30%).

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI