Differentiable Retrieval Augmentation via Generative Language Modeling for E-commerce Query Intent Classification

要約

単にモデルパラメータの数を増やすのではなく、ナレッジリトリーバーと外部コーパスによって下流モデルを強化する検索拡張は、テキスト分類や質問応答などの多くの自然言語処理 (NLP) タスクに適用されて成功しています。
ただし、レトリーバーと下流モデルを個別または非同期でトレーニングする既存の方法は、主に 2 つの部分間の非微分性により、通常、エンドツーエンドの共同トレーニングと比較してパフォーマンスの低下につながります。
この論文では、新しい微分可能な再定式化によってこの問題に対処するために、Generative INguage モデリング (Dragan) による微分可能な検索拡張を提案します。
電子商取引検索における困難な NLP タスク、つまりクエリ意図の分類に対する提案手法の有効性を実証します。
実験結果とアブレーション研究の両方から、提案された方法がオフライン評価とオンライン A/B テストの両方で最先端のベースラインを大幅かつ合理的に改善することが示されています。

要約(オリジナル)

Retrieval augmentation, which enhances downstream models by a knowledge retriever and an external corpus instead of by merely increasing the number of model parameters, has been successfully applied to many natural language processing (NLP) tasks such as text classification, question answering and so on. However, existing methods that separately or asynchronously train the retriever and downstream model mainly due to the non-differentiability between the two parts, usually lead to degraded performance compared to end-to-end joint training. In this paper, we propose Differentiable Retrieval Augmentation via Generative lANguage modeling(Dragan), to address this problem by a novel differentiable reformulation. We demonstrate the effectiveness of our proposed method on a challenging NLP task in e-commerce search, namely query intent classification. Both the experimental results and ablation study show that the proposed method significantly and reasonably improves the state-of-the-art baselines on both offline evaluation and online A/B test.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google