Pre-trained Recommender Systems: A Causal Debiasing Perspective

要約

事前トレーニングされた視覚/言語モデルに関する最近の研究では、AI における新しい有望なソリューション構築パラダイムの実際的な利点が実証されています。このパラダイムでは、一般的なタスク空間を記述する広範なデータでモデルを事前トレーニングし、広範囲の解決にうまく適応させることができます。
トレーニング データが厳しく制限されている場合でも (ゼロショットまたは数回のショットの学習シナリオなど)、下流のタスクの実行を可能にします。
このような進歩に触発されて、この論文では、事前トレーニング済みモデルの観点からはあまり調査されていない、このようなパラダイムをレコメンダー システムのコンテキストに適応させる可能性と課題を調査します。
特に、さまざまなドメインから抽出された一般的なユーザーとアイテムのインタラクション データでトレーニングすることにより、普遍的なインタラクション パターンをキャプチャする汎用レコメンダーを開発することを提案します。このデータは、未確認の新しいドメイン (データが限られている) での数回の学習パフォーマンスを向上させるために迅速に適応できます。
）。
ただし、意味空間で強い適合性を共有する視覚/言語データとは異なり、異なるドメイン (異なる国や異なる電子商取引プラットフォームなど) 全体で収集された推奨データの基礎となる普遍的なパターンは、ドメイン内バイアスとクロスドメインバイアスの両方によって遮られることがよくあります。
これは、ユーザーおよび商品ベースの文化の違い、およびさまざまな電子商取引プラットフォームの使用によって暗黙のうちに課せられます。
私たちの実験で示されたように、データ内のこのような不均一なバイアスは、事前トレーニングされたモデルの有効性を妨げる傾向があります。
この課題に対処するために、因果的バイアス軽減の観点をさらに導入し、形式化します。これは、PreRec と呼ばれる階層ベイズ深層学習モデルによって実証されています。
実世界のデータに関する実証研究では、提案されたモデルが、クロスマーケットおよびクロスプラットフォームの両方のシナリオの下で、ゼロショットおよび少数ショットの学習設定におけるレコメンデーションのパフォーマンスを大幅に向上させる可能性があることを示しています。

要約(オリジナル)

Recent studies on pre-trained vision/language models have demonstrated the practical benefit of a new, promising solution-building paradigm in AI where models can be pre-trained on broad data describing a generic task space and then adapted successfully to solve a wide range of downstream tasks, even when training data is severely limited (e.g., in zero- or few-shot learning scenarios). Inspired by such progress, we investigate in this paper the possibilities and challenges of adapting such a paradigm to the context of recommender systems, which is less investigated from the perspective of pre-trained model. In particular, we propose to develop a generic recommender that captures universal interaction patterns by training on generic user-item interaction data extracted from different domains, which can then be fast adapted to improve few-shot learning performance in unseen new domains (with limited data). However, unlike vision/language data which share strong conformity in the semantic space, universal patterns underlying recommendation data collected across different domains (e.g., different countries or different E-commerce platforms) are often occluded by both in-domain and cross-domain biases implicitly imposed by the cultural differences in their user and item bases, as well as their uses of different e-commerce platforms. As shown in our experiments, such heterogeneous biases in the data tend to hinder the effectiveness of the pre-trained model. To address this challenge, we further introduce and formalize a causal debiasing perspective, which is substantiated via a hierarchical Bayesian deep learning model, named PreRec. Our empirical studies on real-world data show that the proposed model could significantly improve the recommendation performance in zero- and few-shot learning settings under both cross-market and cross-platform scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google