FecTek: Enhancing Term Weight in Lexicon-Based Retrieval with Feature Context and Term-level Knowledge

要約

レキシコンベースの検索は、その効率的で堅牢なパフォーマンスにより、テキスト検索で非常に人気を得ています。
辞書ベースの検索のパフォーマンスをさらに向上させるために、研究者はニューラル検索やテキストレベルの対照学習アプローチなどの最先端の方法論を熱心に取り入れてきました。
それにもかかわらず、有望な結果にもかかわらず、現在の語彙ベースの検索方法は、特徴コンテキスト表現と用語レベルの知識ガイダンスの潜在的な利点を探求する際にあまり注目されていません。
本稿では、FEature ContextとTErmレベルのナレッジモジュール(FecTek)を導入することによる革新的な方法を紹介します。
用語の重みの特徴コンテキスト表現を効果的に強化するために、特徴コンテキスト モジュール (FCM) が導入されています。これは、BERT の表現の力を活用して、埋め込み内の各要素の動的な重みを決定します。
さらに、用語レベルの知識を効果的に利用して用語の重みのモデル化プロセスをインテリジェントにガイドするための用語レベルの知識ガイダンス モジュール (TKGM) を開発します。
MS Marco ベンチマークでの提案された方法の評価により、以前の最先端のアプローチよりも優れていることが実証されました。

要約(オリジナル)

Lexicon-based retrieval has gained siginificant popularity in text retrieval due to its efficient and robust performance. To further enhance performance of lexicon-based retrieval, researchers have been diligently incorporating state-of-the-art methodologies like Neural retrieval and text-level contrastive learning approaches. Nonetheless, despite the promising outcomes, current lexicon-based retrieval methods have received limited attention in exploring the potential benefits of feature context representations and term-level knowledge guidance. In this paper, we introduce an innovative method by introducing FEature Context and TErm-level Knowledge modules(FecTek). To effectively enrich the feature context representations of term weight, the Feature Context Module (FCM) is introduced, which leverages the power of BERT’s representation to determine dynamic weights for each element in the embedding. Additionally, we develop a term-level knowledge guidance module (TKGM) for effectively utilizing term-level knowledge to intelligently guide the modeling process of term weight. Evaluation of the proposed method on MS Marco benchmark demonstrates its superiority over the previous state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google