Relational Sentence Embedding for Flexible Semantic Matching

要約

私たちは、文埋め込みの可能性をさらに発見するための新しいパラダイムであるリレーショナル文埋め込み (RSE) を紹介します。
従来の研究は主に、埋め込み距離に基づいて文間の類似性をモデル化しました。
伝えられる複雑な意味論的な意味のため、文のペアには、含意、言い換え、質問と回答を含む (ただしこれらに限定されない) さまざまな関係タイプを持つことができます。
これは、そのような関係情報を取得する既存の埋め込み方法に課題をもたらします。
関連するリレーショナル埋め込みを学習することで問題に対処します。
具体的には、関係に基づく翻訳操作がソース文に適用され、事前トレーニングされたシャムベースのエンコーダで対応するターゲット文が推論されます。
詳細な関係類似性スコアは、学習された埋め込みから計算できます。
意味的なテキストの類似性、転送、ドメイン固有のタスクなど、幅広いタスクをカバーする 19 のデータセットでメソッドのベンチマークを行います。
実験結果は、私たちの方法が文の関係をモデル化するのに効果的かつ柔軟であり、一連の最先端の文埋め込み方法よりも優れていることを示しています。
https://github.com/BinWang28/RSE

要約(オリジナル)

We present Relational Sentence Embedding (RSE), a new paradigm to further discover the potential of sentence embeddings. Prior work mainly models the similarity between sentences based on their embedding distance. Because of the complex semantic meanings conveyed, sentence pairs can have various relation types, including but not limited to entailment, paraphrasing, and question-answer. It poses challenges to existing embedding methods to capture such relational information. We handle the problem by learning associated relational embeddings. Specifically, a relation-wise translation operation is applied to the source sentence to infer the corresponding target sentence with a pre-trained Siamese-based encoder. The fine-grained relational similarity scores can be computed from learned embeddings. We benchmark our method on 19 datasets covering a wide range of tasks, including semantic textual similarity, transfer, and domain-specific tasks. Experimental results show that our method is effective and flexible in modeling sentence relations and outperforms a series of state-of-the-art sentence embedding methods. https://github.com/BinWang28/RSE

arxiv情報

提供元, 利用サービス

arxiv.jp, Google