KETM:A Knowledge-Enhanced Text Matching method

要約

テキスト マッチングは、2 つのテキストを照合し、それらの間の関係を判断するタスクであり、読解や質問応答システムなどの自然言語処理タスクに広範に応用されます。
主流のアプローチは、テキスト表現を計算するか、アテンション メカニズムを通じてテキストと対話することであり、テキスト マッチング タスクに効果的です。
ただし、これらのモデルのパフォーマンスは、常識的な知識に基づく推論を必要とするテキストには不十分です。
この目的を達成するために、この論文では、知識拡張テキスト マッチング モデル (KETM) と呼ばれるテキスト マッチングの新しいモデルを導入します。これは、外部の知識ソースから得た現実世界の常識的な知識で文脈表現を強化し、モデルの理解と推論を強化します。
。
まず、Wiktionary を使用して、外部知識としてテキストの単語の定義を取得します。
次に、テキストと知識をテキスト マッチング モジュールに供給して、その特徴ベクトルを抽出します。
テキストマッチングモジュールは、エンコーダ層、同時注目層、アグリゲーション層を統合してインタラクションモジュールとして利用されます。
具体的には、インタラクションプロセスを複数回繰り返して詳細なインタラクション情報を取得し、マルチアングルプーリングによりテキストと知識の特徴ベクトルを抽出します。
次に、ゲート機構を使用してテキストと知識を融合し、知識によって発生するノイズを防ぐニューラルネットワークによってテキストと知識の融合の比率を学習します。
その後、4 つのデータセットに対する実験検証が実行され、実験結果は、提案したモデルが 4 つのデータセットすべてで良好に機能し、外部知識を追加することなくベース モデルと比較してメソッドのパフォーマンスが向上し、有効性が検証されたことを示しています。
我々の提案する手法の
コードは https://github.com/1094701018/KETM で入手できます。

要約(オリジナル)

Text matching is the task of matching two texts and determining the relationship between them, which has extensive applications in natural language processing tasks such as reading comprehension, and Question-Answering systems. The mainstream approach is to compute text representations or to interact with the text through attention mechanism, which is effective in text matching tasks. However, the performance of these models is insufficient for texts that require commonsense knowledge-based reasoning. To this end, in this paper, We introduce a new model for text matching called the Knowledge Enhanced Text Matching model (KETM), to enrich contextual representations with real-world common-sense knowledge from external knowledge sources to enhance our model understanding and reasoning. First, we use Wiktionary to retrieve the text word definitions as our external knowledge. Secondly, we feed text and knowledge to the text matching module to extract their feature vectors. The text matching module is used as an interaction module by integrating the encoder layer, the co-attention layer, and the aggregation layer. Specifically, the interaction process is iterated several times to obtain in-depth interaction information and extract the feature vectors of text and knowledge by multi-angle pooling. Then, we fuse text and knowledge using a gating mechanism to learn the ratio of text and knowledge fusion by a neural network that prevents noise generated by knowledge. After that, experimental validation on four datasets are carried out, and the experimental results show that our proposed model performs well on all four datasets, and the performance of our method is improved compared to the base model without adding external knowledge, which validates the effectiveness of our proposed method. The code is available at https://github.com/1094701018/KETM

arxiv情報

提供元, 利用サービス

arxiv.jp, Google