DREditor: An Time-efficient Approach for Building a Domain-specific Dense Retrieval Model

要約

高密度検索モデルを効率的に導入することは、さまざまな業界にわたってますます重要になっています。
これはエンタープライズ検索サービスに特に当てはまります。エンタープライズ検索サービスでは、さまざまなドメインのさまざまな企業の時間需要を満たすように検索エンジンをカスタマイズすることが重要です。
これを動機として、特定のドメインに合わせて既製の高密度検索モデルのマッチング ルールを編集する、DREditor と呼ばれる時間効率の高いアプローチを開発しました。
これは、効率的かつ効果的な線形マッピングを使用してモデルの出力埋め込みを直接調整することによって実現されます。
このマッピングは、特別に構築された最小二乗問題を解くことによって得られる編集演算子によって強化されます。
長時間にわたる微調整による暗黙的なルール変更と比較して、DREditor がさまざまなドメイン固有のデータセット、データセット ソース、検索モデル、コンピューティング デバイスに対して大きな利点を提供することを実験結果が示しています。
同等またはそれ以上の検索パフォーマンスを維持しながら、時間効率を一貫して 100 ～ 300 倍向上させます。
より広い意味で、我々は検索タスクに新しい埋め込みキャリブレーションアプローチを導入する第一歩を踏み出し、埋め込みキャリブレーションの現在の分野における技術的な空白を埋めます。
このアプローチは、ドメイン固有の高密度検索モデルを効率的かつ低コストで構築するための道も開きます。

要約(オリジナル)

Deploying dense retrieval models efficiently is becoming increasingly important across various industries. This is especially true for enterprise search services, where customizing search engines to meet the time demands of different enterprises in different domains is crucial. Motivated by this, we develop a time-efficient approach called DREditor to edit the matching rule of an off-the-shelf dense retrieval model to suit a specific domain. This is achieved by directly calibrating the output embeddings of the model using an efficient and effective linear mapping. This mapping is powered by an edit operator that is obtained by solving a specially constructed least squares problem. Compared to implicit rule modification via long-time finetuning, our experimental results show that DREditor provides significant advantages on different domain-specific datasets, dataset sources, retrieval models, and computing devices. It consistently enhances time efficiency by 100-300 times while maintaining comparable or even superior retrieval performance. In a broader context, we take the first step to introduce a novel embedding calibration approach for the retrieval task, filling the technical blank in the current field of embedding calibration. This approach also paves the way for building domain-specific dense retrieval models efficiently and inexpensively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google