Revealing the Blind Spot of Sentence Encoder Evaluation by HEROS

要約

既存の文テキスト類似性ベンチマーク データセットは、文エンコーダーの決定が人間の決定とどの程度類似しているかを要約するために単一の数値のみを使用します。
ただし、センテンス エンコーダ (SE) がどのような種類のセンテンス ペアを類似しているとみなすかは不明です。
さらに、既存の SE ベンチマークは主に語彙の重複が少ない文のペアを考慮しているため、2 つの文に語彙の重複が多い場合に SE がどのように動作するかは不明です。
高品質なSE診断データセットHEROSをご紹介します。
HEROS は、特定のルールに基づいて元の文を新しい文に変換して \textit{最小ペア} を形成することによって構築されており、最小ペアには語彙の重複が多く含まれます。
ルールには、単語を同義語、反意語、タイプミス、ランダムな単語に置き換えること、元の文を否定文に変換することが含まれます。
ルールが異なれば、HEROS の異なるサブセットが生成されます。
HEROS 上の 60 を超える教師あり SE と教師なし SE のパフォーマンスを体系的に比較することにより、ほとんどの教師なし文エンコーダーが否定に鈍感であることが明らかになりました。
SE のトレーニングに使用されたデータセットが、SE がどのような種類の文のペアを類似しているとみなすかについての主な決定要因であることがわかりました。
また、2 つの SE が STS ベンチマークで同様のパフォーマンスを示したとしても、HEROS ではまったく異なる動作を示す可能性があることも示します。
私たちの結果は、SE を評価する際の従来の STS ベンチマークの盲点を明らかにしました。

要約(オリジナル)

Existing sentence textual similarity benchmark datasets only use a single number to summarize how similar the sentence encoder’s decision is to humans’. However, it is unclear what kind of sentence pairs a sentence encoder (SE) would consider similar. Moreover, existing SE benchmarks mainly consider sentence pairs with low lexical overlap, so it is unclear how the SEs behave when two sentences have high lexical overlap. We introduce a high-quality SE diagnostic dataset, HEROS. HEROS is constructed by transforming an original sentence into a new sentence based on certain rules to form a \textit{minimal pair}, and the minimal pair has high lexical overlaps. The rules include replacing a word with a synonym, an antonym, a typo, a random word, and converting the original sentence into its negation. Different rules yield different subsets of HEROS. By systematically comparing the performance of over 60 supervised and unsupervised SEs on HEROS, we reveal that most unsupervised sentence encoders are insensitive to negation. We find the datasets used to train the SE are the main determinants of what kind of sentence pairs an SE considers similar. We also show that even if two SEs have similar performance on STS benchmarks, they can have very different behavior on HEROS. Our result reveals the blind spot of traditional STS benchmarks when evaluating SEs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google