PARAPHRASUS : A Comprehensive Benchmark for Evaluating Paraphrase Detection Models

要約

2 つのテキストが言い換えであるかどうかを判断するタスクは、NLP において長年の課題でした。
しかし、言い換えという一般的な概念は非常に単純化されていることが多く、膨大な範囲の言い換え現象について限られた視点しか提供しません。
実際、言い換えデータセットでモデルを評価すると、モデルの真の意味理解について不確実性が残る可能性があることがわかりました。
これを軽減するために、言い換え検出モデルの多次元評価とより詳細なモデル選択のために設計されたベンチマークであるパラフレーズをリリースします。
きめ細かい評価レンズの下での言い換え検出モデルは、単一の分類データセットでは捉えることができないトレードオフを示すことがわかりました。

要約(オリジナル)

The task of determining whether two texts are paraphrases has long been a challenge in NLP. However, the prevailing notion of paraphrase is often quite simplistic, offering only a limited view of the vast spectrum of paraphrase phenomena. Indeed, we find that evaluating models in a paraphrase dataset can leave uncertainty about their true semantic understanding. To alleviate this, we release paraphrasus, a benchmark designed for multi-dimensional assessment of paraphrase detection models and finer model selection. We find that paraphrase detection models under a fine-grained evaluation lens exhibit trade-offs that cannot be captured through a single classification dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google