Improving Text Semantic Similarity Modeling through a 3D Siamese Network

要約

シャム ネットワークは、テキストの意味上の類似性をモデル化する方法として人気を集めています。
従来の方法は、エンコード時に Transformer ブロックからの意味論的表現を圧縮するプーリング操作に依存しており、その結果、2 次元の意味論的ベクトルが生じ、Transformer ブロックからの階層的意味論的情報が失われます。
さらに、この意味ベクトルの制限された構造は平らな地形に似ており、この平坦な地形のみをナビゲートできるため、下流のモデリングに適用できる方法が制限されます。
この問題に対処するために、我々は、意味情報を高次元空間にマッピングする、テキスト意味類似性モデリングのための新しい 3D シャム ネットワークを提案します。
3 次元セマンティック テンソルは、より正確な空間および特徴ドメイン情報を保持するだけでなく、それらを捕捉するための包括的な下流モデリング戦略に必要な構造条件も提供します。
この構造上の利点を活用して、特徴抽出、注意、特徴融合の 3 つの側面に焦点を当てて、この 3D フレームワークを強化するいくつかのモジュールを導入します。
4 つのテキストの意味的類似性ベンチマークに関する広範な実験により、3D シャム ネットワークの有効性と効率性が実証されました。

要約(オリジナル)

Siamese networks have gained popularity as a method for modeling text semantic similarity. Traditional methods rely on pooling operation to compress the semantic representations from Transformer blocks in encoding, resulting in two-dimensional semantic vectors and the loss of hierarchical semantic information from Transformer blocks. Moreover, this limited structure of semantic vectors is akin to a flattened landscape, which restricts the methods that can be applied in downstream modeling, as they can only navigate this flat terrain. To address this issue, we propose a novel 3D Siamese network for text semantic similarity modeling, which maps semantic information to a higher-dimensional space. The three-dimensional semantic tensors not only retains more precise spatial and feature domain information but also provides the necessary structural condition for comprehensive downstream modeling strategies to capture them. Leveraging this structural advantage, we introduce several modules to reinforce this 3D framework, focusing on three aspects: feature extraction, attention, and feature fusion. Our extensive experiments on four text semantic similarity benchmarks demonstrate the effectiveness and efficiency of our 3D Siamese Network.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google