Unsupervised hard Negative Augmentation for contrastive learning

要約

我々は、用語周波数逆文書頻度 (TF-IDF) 検索モデルに基づいて合成ネガティブ インスタンスを生成する方法である、教師なしハード ネガティブ拡張 (UNA) を紹介します。
UNA は、TF-IDF スコアを使用して文内の用語の認識された重要性を確認し、それに関して用語を置き換えることによってネガティブ サンプルを生成します。
私たちの実験は、UNA でトレーニングされたモデルが意味論的なテキスト類似性タスクにおける全体的なパフォーマンスを向上させることを示しています。
UNA をパラフレーズ拡張と組み合わせると、さらなるパフォーマンスの向上が得られます。
さらなる結果は、私たちの方法がさまざまなバックボーンモデルと互換性があることを示しています。
アブレーション研究はまた、陰性増強に関して TF-IDF 主導の制御を行うという選択を支持しています。

要約(オリジナル)

We present Unsupervised hard Negative Augmentation (UNA), a method that generates synthetic negative instances based on the term frequency-inverse document frequency (TF-IDF) retrieval model. UNA uses TF-IDF scores to ascertain the perceived importance of terms in a sentence and then produces negative samples by replacing terms with respect to that. Our experiments demonstrate that models trained with UNA improve the overall performance in semantic textual similarity tasks. Additional performance gains are obtained when combining UNA with the paraphrasing augmentation. Further results show that our method is compatible with different backbone models. Ablation studies also support the choice of having a TF-IDF-driven control on negative augmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google