News Without Borders: Domain Adaptation of Multilingual Sentence Embeddings for Cross-lingual News Recommendation

要約

多言語を話すニュース利用者の数が急速に増加しているため、カスタマイズされた推奨を提供するという点で、ニュース レコメンダー システムに対する課題が増大しています。
まず、既存のニューラル ニュース レコメンダーは、多言語言語モデル (LM) を利用している場合でも、ゼロショット言語間転送 (ZS-XLT) で大幅なパフォーマンスの低下を被ります。
第 2 に、タスク固有のデータに基づいてニューラル レコメンダーのバックボーン LM を微調整する現在のパラダイムは、計算コストが高く、データが不足しているかまったく利用できない少数ショット レコメンデーションやコールド スタートのセットアップでは実行不可能です。
この研究では、事前トレーニングされた大規模多言語センテンス エンコーダ (SE) からドメインに特化した、ニュースに適応したセンテンス エンコーダ (NaSE) を提案します。
この目的を達成するために、私たちは、多言語ニュースに特化した 2 つのコーパスである PolyNews と PolyNewsParallel を構築し、活用しています。
ニュースに適応した多言語 SE を導入して、ニュース推奨の教師付き微調整の有効性をテストし (つまり、その必要性を疑問視し)、(i) 凍結された NaSE 埋め込みと (ii) に基づいてシンプルで強力なベースラインを提案します。
後期のクリック動作の融合。
NaSE が真のコールド スタートおよび少数ショット ニュース推奨において ZS-XLT で最先端のパフォーマンスを達成することを示します。

要約(オリジナル)

Rapidly growing numbers of multilingual news consumers pose an increasing challenge to news recommender systems in terms of providing customized recommendations. First, existing neural news recommenders, even when powered by multilingual language models (LMs), suffer substantial performance losses in zero-shot cross-lingual transfer (ZS-XLT). Second, the current paradigm of fine-tuning the backbone LM of a neural recommender on task-specific data is computationally expensive and infeasible in few-shot recommendation and cold-start setups, where data is scarce or completely unavailable. In this work, we propose a news-adapted sentence encoder (NaSE), domain-specialized from a pretrained massively multilingual sentence encoder (SE). To this end, we construct and leverage PolyNews and PolyNewsParallel, two multilingual news-specific corpora. With the news-adapted multilingual SE in place, we test the effectiveness of (i.e., question the need for) supervised fine-tuning for news recommendation, and propose a simple and strong baseline based on (i) frozen NaSE embeddings and (ii) late click-behavior fusion. We show that NaSE achieves state-of-the-art performance in ZS-XLT in true cold-start and few-shot news recommendation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google