LADER: Log-Augmented DEnse Retrieval for Biomedical Literature Search

要約

タイトル：LADER：バイオメディカル文献検索のためのログ増強型密度回収

要約：

– バイオメディカル文献検索エンジンでは、クエリが一般的に短く、トップドキュメントがほとんどのクリックを占めるため、同様の情報ニーズを持つクエリは類似した文書クリックを持つ傾向がある。
– LADERは、密度回収器によって検出された類似したトレーニングクエリのクリックログを増強する、バイオメディカル文献検索のための新しいアーキテクチャである。
– LADERは、密度回収器によって与えられたクエリと同様の文書とクエリを見つけ、入力クエリの類似性に応じて関連する（クリックされた）文書を評価する。
– LADERの最終文書スコアは、（1）密度回収器からのドキュメント類似性スコアと（2）類似したクエリのクリックログからの集約されたドキュメントスコアの平均である。
– LADERは、TriplClickと呼ばれる最近リリースされたバイオメディカル文献リトリーバルのベンチマークで、新しい最高性能を実現している。
– より頻繁な（HEAD）クエリでは、LADERは最高のリトリーバルモデルを39％の相対NDCG@10で大幅に上回っており、それ以外のクエリでも高い性能を発揮している。
– LADERは、追加のトレーニングを必要とせずに、密度回収器のパフォーマンスを24％～37％相対NDCG@10で改善することができる。
– LADERは、より頻繁でクエリ類似性のエントロピーが高く、ドキュメント類似性のエントロピーが低いクエリに対してより効果的であることが回帰分析によって示された。

要約(オリジナル)

Queries with similar information needs tend to have similar document clicks, especially in biomedical literature search engines where queries are generally short and top documents account for most of the total clicks. Motivated by this, we present a novel architecture for biomedical literature search, namely Log-Augmented DEnse Retrieval (LADER), which is a simple plug-in module that augments a dense retriever with the click logs retrieved from similar training queries. Specifically, LADER finds both similar documents and queries to the given query by a dense retriever. Then, LADER scores relevant (clicked) documents of similar queries weighted by their similarity to the input query. The final document scores by LADER are the average of (1) the document similarity scores from the dense retriever and (2) the aggregated document scores from the click logs of similar queries. Despite its simplicity, LADER achieves new state-of-the-art (SOTA) performance on TripClick, a recently released benchmark for biomedical literature retrieval. On the frequent (HEAD) queries, LADER largely outperforms the best retrieval model by 39% relative NDCG@10 (0.338 v.s. 0.243). LADER also achieves better performance on the less frequent (TORSO) queries with 11% relative NDCG@10 improvement over the previous SOTA (0.303 v.s. 0.272). On the rare (TAIL) queries where similar queries are scarce, LADER still compares favorably to the previous SOTA method (NDCG@10: 0.310 v.s. 0.295). On all queries, LADER can improve the performance of a dense retriever by 24%-37% relative NDCG@10 while not requiring additional training, and further performance improvement is expected from more logs. Our regression analysis has shown that queries that are more frequent, have higher entropy of query similarity and lower entropy of document similarity, tend to benefit more from log augmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI