X-Cross: Dynamic Integration of Language Models for Cross-Domain Sequential Recommendation

要約

新製品が毎日出現しているため、推奨システムは、大規模な再訓練を必要とせずに、可能な新しいドメインに迅速に適応する必要があります。
この作業は、「X-Cross」を提示します。これは、いくつかのドメイン固有の言語モデルを統合することにより、新しいドメインで製品を推奨する新しいクロスドメインシーケンシャル推奨モデルです。
各モデルには、低ランクアダプター（LORA）で微調整されています。
推奨プロンプトがレイヤーごとに動作する推奨プロンプトが与えられた場合、X-Crossは、他のすべてのモデルから知識を統合することにより、各ソース言語モデルの表現を動的に改良します。
これらの洗練された表現は、1つのレイヤーから次のレイヤーに伝播され、各ドメインアダプターからのアクティベーションを活用して、ドメイン全体の適応性を可能にしながらドメイン固有のニュアンスが保存されます。
Amazonデータセットを使用して連続的な推奨事項を使用して、X-Crossは、追加のパラメーターの25％のみを使用しながら、LORAで微調整されたモデルに匹敵するパフォーマンスを実現します。
おもちゃのドメインからツール、エレクトロニクス、またはスポーツに適応するなどのクロスドメインタスクでは、X-Crossは堅牢なパフォーマンスを示しますが、微調整を効果的にするためにLORAよりも約50％〜75％少ないデータを必要とします。
さらに、X-Crossは、代替クロスドメインベースラインよりも精度が大幅に改善されます。
全体として、X-Crossはスケーラブルで適応性のあるクロスドメインの推奨事項を有効にし、計算オーバーヘッドを削減し、データ制約の環境に効率的なソリューションを提供します。

要約(オリジナル)

As new products are emerging daily, recommendation systems are required to quickly adapt to possible new domains without needing extensive retraining. This work presents “X-Cross” — a novel cross-domain sequential-recommendation model that recommends products in new domains by integrating several domain-specific language models; each model is fine-tuned with low-rank adapters (LoRA). Given a recommendation prompt, operating layer by layer, X-Cross dynamically refines the representation of each source language model by integrating knowledge from all other models. These refined representations are propagated from one layer to the next, leveraging the activations from each domain adapter to ensure domain-specific nuances are preserved while enabling adaptability across domains. Using Amazon datasets for sequential recommendation, X-Cross achieves performance comparable to a model that is fine-tuned with LoRA, while using only 25% of the additional parameters. In cross-domain tasks, such as adapting from Toys domain to Tools, Electronics or Sports, X-Cross demonstrates robust performance, while requiring about 50%-75% less fine-tuning data than LoRA to make fine-tuning effective. Furthermore, X-Cross achieves significant improvement in accuracy over alternative cross-domain baselines. Overall, X-Cross enables scalable and adaptive cross-domain recommendations, reducing computational overhead and providing an efficient solution for data-constrained environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google