Semantic similarity prediction is better than other semantic similarity measures

要約

自然言語テキスト間の意味的類似性は、通常、サブシーケンス間の重複 (BLEU など) を調べることによって、または埋め込み (BERTScore、S-BERT など) を使用することによって測定されます。
この論文の中で、意味的な類似性の測定のみに興味がある場合、そのようなタスクには微調整されたモデルを使用して類似性を直接予測する方が良いと主張します。
GLUE ベンチマークのセマンティック テキスト類似性ベンチマーク タスク (STS-B) の微調整されたモデルを使用して、STSScore アプローチを定義し、結果の類似性が他のアプローチよりも堅牢なセマンティック類似性尺度に対する期待とよりよく一致していることを示します。

要約(オリジナル)

Semantic similarity between natural language texts is typically measured either by looking at the overlap between subsequences (e.g., BLEU) or by using embeddings (e.g., BERTScore, S-BERT). Within this paper, we argue that when we are only interested in measuring the semantic similarity, it is better to directly predict the similarity using a fine-tuned model for such a task. Using a fine-tuned model for the Semantic Textual Similarity Benchmark tasks (STS-B) from the GLUE benchmark, we define the STSScore approach and show that the resulting similarity is better aligned with our expectations on a robust semantic similarity measure than other approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google