SetBERT: Enhancing Retrieval Performance for Boolean Logic and Set Operation Queries

要約

SetBERT は、集合演算やブール論理クエリ (積集合 (AND)、差分 (NOT)、和集合 (OR) など) のクエリ埋め込みを強化するように設計された、微調整された BERT ベースのモデルです。
SetBERT は、従来の検索方法とニューラル検索方法の両方が通常パフォーマンスを下回る領域である、論理構造化クエリの検索パフォーマンスを大幅に向上させます。
私たちは、否定文の識別と、プロンプト GPT によって生成されたデータセットを使用した BERT の微調整に焦点を当てた、逆対照損失の革新的な使用法を提案します。
さらに、他の BERT ベースのモデルとは異なり、三重項損失を伴う微調整が実際にこの特定のタスクのパフォーマンスを低下させることを示します。
私たちの実験では、SetBERT ベースが BERT ベースを大幅に上回るパフォーマンス (再現率が最大 63% 向上) だけでなく、サイズがわずか 3 分の 1 であるにもかかわらず、はるかに大きな BERT-large モデルと同等のパフォーマンスを達成していることが明らかになりました。

要約(オリジナル)

We introduce SetBERT, a fine-tuned BERT-based model designed to enhance query embeddings for set operations and Boolean logic queries, such as Intersection (AND), Difference (NOT), and Union (OR). SetBERT significantly improves retrieval performance for logic-structured queries, an area where both traditional and neural retrieval methods typically underperform. We propose an innovative use of inversed-contrastive loss, focusing on identifying the negative sentence, and fine-tuning BERT with a dataset generated via prompt GPT. Furthermore, we demonstrate that, unlike other BERT-based models, fine-tuning with triplet loss actually degrades performance for this specific task. Our experiments reveal that SetBERT-base not only significantly outperforms BERT-base (up to a 63% improvement in Recall) but also achieves performance comparable to the much larger BERT-large model, despite being only one-third the size.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google