Sentence Representations via Gaussian Embedding

要約

文の意味をベクトル空間内の点として表現する文埋め込みの最近の進歩により、意味論的テキスト類似性 (STS) タスクなどのタスクで高いパフォーマンスが達成されました。
しかし、ベクトル空間上の点としての文表現では、文間の非対称な関係など、文が持つ多様な情報の一部しか表現できません。
この論文では、包含関係を識別するための類似性尺度とともに、文間の非対称関係を処理できる文埋め込み用のガウス分布ベースの対比学習フレームワークである GaussCSE を提案します。
私たちの実験では、GaussCSE が自然言語推論タスクにおいて以前の手法と同じパフォーマンスを達成し、点表現では困難な含意関係の方向を推定できることが示されました。

要約(オリジナル)

Recent progress in sentence embedding, which represents the meaning of a sentence as a point in a vector space, has achieved high performance on tasks such as a semantic textual similarity (STS) task. However, sentence representations as a point in a vector space can express only a part of the diverse information that sentences have, such as asymmetrical relationships between sentences. This paper proposes GaussCSE, a Gaussian distribution-based contrastive learning framework for sentence embedding that can handle asymmetric relationships between sentences, along with a similarity measure for identifying inclusion relations. Our experiments show that GaussCSE achieves the same performance as previous methods in natural language inference tasks, and is able to estimate the direction of entailment relations, which is difficult with point representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google