Collaboration of Large Language Models and Small Recommendation Models for Device-Cloud Recommendation

要約

Large Language Models (LLM) for Recommendation (LLM4Rec) は、この分野で優れたパフォーマンスを実証している有望な研究方向です。
ただし、リアルタイムのユーザー設定をキャプチャできないため、LLM4Rec の実際の適用は大幅に制限されます。その理由は、(i) LLM は頻繁にトレーニングおよび推論するのにコストがかかり、(ii) LLM はリアルタイム データにアクセスするのに苦労します (パラメーターが多数あるため、
デバイスへの展開の障害となります）。
幸いなことに、小規模推奨モデル (SRM) は、頻繁なトレーニングと推論に最小限のリソースを消費し、デバイス上のリアルタイム データに簡単にアクセスすることで、LLM4Rec 図のこれらの欠点を効果的に補うことができます。
これを考慮して、デバイスとクラウドのコラボレーション設定の下で、デバイスとクラウドの LLM-SRM コラボレーション推奨フレームワーク (LSC4Rec) を設計しました。
LSC4Rec は、LLM と SRM の両方の利点とクラウドとエッジ コンピューティングの利点を統合し、相補的な相乗効果を達成することを目指しています。
私たちは、協調トレーニング、協調推論、インテリジェントなリクエストという 3 つの戦略を設計することで、LSC4Rec の実用性を高めます。
トレーニング中、LLM は候補リストを生成して、共同シナリオにおける SRM のランキング機能を強化し、SRM が適応的に更新してリアルタイムのユーザーの関心を把握できるようにします。
推論中、LLM と SRM はそれぞれクラウドとデバイスに展開されます。
LLM はユーザーの行動に基づいて候補リストと初期ランキング結果を生成し、SRM は候補リストに基づいて再ランキング結果を取得し、最終結果は LLM と SRM の両方のスコアを統合します。
デバイスは、LLM と SRM のソートされたリストの一貫性を比較することによって、新しい候補リストが必要かどうかを判断します。
当社の包括的かつ広範な実験分析により、LSC4Rec の各戦略の有効性が検証されます。

要約(オリジナル)

Large Language Models (LLMs) for Recommendation (LLM4Rec) is a promising research direction that has demonstrated exceptional performance in this field. However, its inability to capture real-time user preferences greatly limits the practical application of LLM4Rec because (i) LLMs are costly to train and infer frequently, and (ii) LLMs struggle to access real-time data (its large number of parameters poses an obstacle to deployment on devices). Fortunately, small recommendation models (SRMs) can effectively supplement these shortcomings of LLM4Rec diagrams by consuming minimal resources for frequent training and inference, and by conveniently accessing real-time data on devices. In light of this, we designed the Device-Cloud LLM-SRM Collaborative Recommendation Framework (LSC4Rec) under a device-cloud collaboration setting. LSC4Rec aims to integrate the advantages of both LLMs and SRMs, as well as the benefits of cloud and edge computing, achieving a complementary synergy. We enhance the practicability of LSC4Rec by designing three strategies: collaborative training, collaborative inference, and intelligent request. During training, LLM generates candidate lists to enhance the ranking ability of SRM in collaborative scenarios and enables SRM to update adaptively to capture real-time user interests. During inference, LLM and SRM are deployed on the cloud and on the device, respectively. LLM generates candidate lists and initial ranking results based on user behavior, and SRM get reranking results based on the candidate list, with final results integrating both LLM’s and SRM’s scores. The device determines whether a new candidate list is needed by comparing the consistency of the LLM’s and SRM’s sorted lists. Our comprehensive and extensive experimental analysis validates the effectiveness of each strategy in LSC4Rec.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google