Efficient Title Reranker for Fast and Improved Knowledge-Intense NLP

要約

ブロードキャスト クエリ エンコーダを介した効率的なタイトル リランカーを紹介します。これは、バニラのパッセージ リランカーよりも 20 倍から 40 倍の速さで効率的なタイトル リランカーを実現する新しいタイトル リランキング手法です。
ただし、効率的なタイトル リランカーのトレーニングに関する課題の 1 つは不安定性です。
この問題を分析したところ、いくつかの非常に困難なグラウンド トゥルースがノイズの多いラベルとして機能し、精度の低下を引き起こす可能性があること、およびモデル確率出力のいくつかの極端な値が nan を引き起こす可能性があることがわかりました。
これらの問題に対処するために、両方のケースの勾配更新を減らし、より良い検索効率をもたらす新しい技術であるシグモイド トリックを導入します。
実験では、キルト知識ベンチマークで 4 つの最先端の位置を達成したため、ETR とシグモイド トリックの有効性が示されました。

要約(オリジナル)

We introduce Efficient Title Reranker via Broadcasting Query Encoder, a novel title reranking technique to achieve efficient title reranking 20x-40x faster than vanilla passage reranker. However, one of the challenges with the training of Efficient Title Reranker is the instability. Analyzing the issue, we found some very difficult ground truths might act as noisy labels causing accuracy to drop as well as some extreme values in model probability output causing nan. To address these issues, we introduce the Sigmoid Trick, a novel technique that reduces the gradient update of both cases resulting in better retrieval efficacy. Experiments showed the effectiveness of ETR and sigmoid trick as we achieved four state-of-the-art positions on the kilt knowledge benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google