SenTest: Evaluating Robustness of Sentence Encoders

要約

対照学習は、視覚領域で弱くラベル付けされたデータを使用してモデルを事前トレーニングする効果的な方法であることが証明されています。
文トランスフォーマーは、このアーキテクチャの NLP に相当するもので、その豊富で効果的な文表現により人気が高まっています。
効果的な文表現を持つことは、情報検索、検索拡張生成 (RAG)、文比較などの複数のタスクにおいて最も重要です。
トランスフォーマーの展開可能性の要素を念頭に置いて、文トランスフォーマーの堅牢性を評価することが最も重要です。
この研究は、文エンコーダの堅牢性の評価に焦点を当てています。
その堅牢性を評価するために、いくつかの敵対的攻撃を採用しています。
このシステムは、ランダムな文字置換の形で文字レベルの攻撃、同義語置換の形で単語レベルの攻撃、および文内の語順シャッフルの形で文レベルの攻撃を使用します。
実験の結果は、文エンコーダの堅牢性を大きく損なうものでした。
モデルは、大きく異なる予測と、摂動されたデータセットの埋め込みを生成します。
モデルの精度は、摂動されていないデータセットと比較して、摂動されたデータセットでは最大 15% 低下する可能性があります。
さらに、実験は、これらの埋め込みが文の意味論的構造および構文構造 (文の順序) を確実に捕捉することを示しています。
ただし、既存の教師付き分類戦略はこの情報を活用できず、単に N グラム検出器として機能するだけです。

要約(オリジナル)

Contrastive learning has proven to be an effective method for pre-training models using weakly labeled data in the vision domain. Sentence transformers are the NLP counterparts to this architecture, and have been growing in popularity due to their rich and effective sentence representations. Having effective sentence representations is paramount in multiple tasks, such as information retrieval, retrieval augmented generation (RAG), and sentence comparison. Keeping in mind the deployability factor of transformers, evaluating the robustness of sentence transformers is of utmost importance. This work focuses on evaluating the robustness of the sentence encoders. We employ several adversarial attacks to evaluate its robustness. This system uses character-level attacks in the form of random character substitution, word-level attacks in the form of synonym replacement, and sentence-level attacks in the form of intra-sentence word order shuffling. The results of the experiments strongly undermine the robustness of sentence encoders. The models produce significantly different predictions as well as embeddings on perturbed datasets. The accuracy of the models can fall up to 15 percent on perturbed datasets as compared to unperturbed datasets. Furthermore, the experiments demonstrate that these embeddings does capture the semantic and syntactic structure (sentence order) of sentences. However, existing supervised classification strategies fail to leverage this information, and merely function as n-gram detectors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google