Modeling Selective Feature Attention for Representation-based Siamese Text Matching

要約

表現ベースのシャム ネットワークは、導入コストと推論コストが低いため、軽量テキスト マッチングで人気が高まっています。
パフォーマンスを向上させるためにシャム ネットワーク内にワードレベルのアテンション メカニズムが実装されていますが、我々は、埋め込み機能間の依存関係のモデリングを強化するように設計された新しいダウンストリーム ブロックであるフィーチャー アテンション (FA) を提案します。
「スクイーズアンド励起」技術を採用することで、FA ブロックは個々の特徴の強調を動的に調整し、ネットワークが最終的な分類に大きく寄与する特徴にさらに集中できるようにします。
FA に基づいて、スタックされた BiGRU インセプション構造を活用する、Selective Feature Attendant (SFA) と呼ばれる動的な「選択」メカニズムを導入します。
SFA ブロックは、スタックされたさまざまな BiGRU レイヤーを横断することでマルチスケールのセマンティック抽出を容易にし、ネットワークがセマンティック情報に選択的に集中することを促進し、さまざまな抽象化レベルにわたって機能を埋め込みます。
FA ブロックと SFA ブロックは両方とも、さまざまなシャム ネットワークとのシームレスな統合機能を提供し、プラグ アンド プレイの特性を示します。
さまざまなテキスト マッチング ベースラインとベンチマークにわたって実施された実験評価は、モデリング機能への注目の不可欠性と「選択」メカニズムの優位性を強調しています。

要約(オリジナル)

Representation-based Siamese networks have risen to popularity in lightweight text matching due to their low deployment and inference costs. While word-level attention mechanisms have been implemented within Siamese networks to improve performance, we propose Feature Attention (FA), a novel downstream block designed to enrich the modeling of dependencies among embedding features. Employing ‘squeeze-and-excitation’ techniques, the FA block dynamically adjusts the emphasis on individual features, enabling the network to concentrate more on features that significantly contribute to the final classification. Building upon FA, we introduce a dynamic ‘selection’ mechanism called Selective Feature Attention (SFA), which leverages a stacked BiGRU Inception structure. The SFA block facilitates multi-scale semantic extraction by traversing different stacked BiGRU layers, encouraging the network to selectively concentrate on semantic information and embedding features across varying levels of abstraction. Both the FA and SFA blocks offer a seamless integration capability with various Siamese networks, showcasing a plug-and-play characteristic. Experimental evaluations conducted across diverse text matching baselines and benchmarks underscore the indispensability of modeling feature attention and the superiority of the ‘selection’ mechanism.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google