Hypencoder: Hypernetworks for Information Retrieval

要約

既存の情報検索システムは、クエリドキュメントの関連性を評価するためのベクトル内製品への依存によって主に制約されており、自然に生成できる関連スコアの表現力を制限します。
新しいパラダイムを提案します。
クエリをベクトルとして表す代わりに、学習したクエリ固有の関連性関数として機能する小さなニューラルネットワークを使用します。
この小さなニューラルネットワークは、ドキュメント表現を入力として取得し（この作業では単一のベクトルを使用します）、スカラー関連スコアを生成します。
小さなニューラルネットワークを生成するには、クエリエンコーダーとして、他のネットワークの重みを生成するネットワークであるハイパーネットワークを使用します。
このカテゴリのエンコーダーモデルハイセンコダーに名前を付けます。
ドメイン内検索タスクの実験では、緊張症が強い密な検索モデルを大幅に上回り、再ランキングモデルと検索モデルを1桁のパラメーターで上回ることさえ示しています。
Hypencodersの機能の程度を評価するために、トングのチップや命令に従う検索タスクを含む一連のハード検索タスクで評価します。
難しいタスクでは、標準の検索タスクと比較して、パフォーマンスギャップが大幅に広がることがわかります。
さらに、メソッドの実用性を実証するために、おおよその検索アルゴリズムを実装し、モデルが60ミリ秒未満で88mのドキュメントのコーパスから取得できることを示します。

要約(オリジナル)

Existing information retrieval systems are largely constrained by their reliance on vector inner products to assess query-document relevance, which naturally limits the expressiveness of the relevance score they can produce. We propose a new paradigm; instead of representing a query as a vector, we use a small neural network that acts as a learned query-specific relevance function. This small neural network takes a document representation as input (in this work we use a single vector) and produces a scalar relevance score. To produce the small neural network we use a hypernetwork, a network that produces the weights of other networks, as our query encoder. We name this category of encoder models Hypencoders. Experiments on in-domain search tasks show that Hypencoders significantly outperform strong dense retrieval models and even surpass reranking models and retrieval models with an order of magnitude more parameters. To assess the extent of Hypencoders’ capabilities, we evaluate on a set of hard retrieval tasks including tip-of-the-tongue and instruction-following retrieval tasks. On harder tasks, we find that the performance gap widens substantially compared to standard retrieval tasks. Furthermore, to demonstrate the practicality of our method, we implement an approximate search algorithm and show that our model is able to retrieve from a corpus of 8.8M documents in under 60 milliseconds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google