LightLM: A Lightweight Deep and Narrow Language Model for Generative Recommendation

要約

このペーパーでは、生成レコメンデーションのための軽量の Transformer ベースの言語モデルである LightLM について説明します。
Transformer ベースの生成モデリングは、NLP やビジョンなどのさまざまな AI サブ分野で重要性を増していますが、生成レコメンデーションは、パーソナライズされた生成モデリングに対する独特の需要があるため、まだ初期段階にあります。
生成レコメンデーションに関する既存の作品では、多くの場合、T5、GPT、LLaMA、M6 などの NLP 指向の Transformer アーキテクチャが使用されていますが、これらは重量が大きく、特にレコメンデーション タスク用に設計されていません。
LightLM は、特に推奨アイテムの直接生成用に調整された、軽量でディープでナローな Transformer アーキテクチャを導入することでこの問題に取り組みます。
この構造は、直接的な生成レコメンデーションに特に適しており、入力は主にモデルの能力に適した短いトークンで構成されるため、このタスクには言語モデルの幅が広すぎる必要はないという観察から生まれています。
また、私たちが考案したユーザー ID とアイテム ID のインデックス付け方法、つまりスペクトル協調インデックス付け (SCI) とグラフ協調インデックス付け (GCI) により、深く狭い Transformer アーキテクチャがレコメンデーションに関して大規模な言語モデルを上回るパフォーマンスを発揮できることも示します。
さらに、出力としてアイテムを生成する幻覚問題に対処するために、生成レコメンダーの制約付き生成プロセスを提案します。
現実世界のデータセットでの実験では、LightLM がレコメンデーションの精度と効率の両方の点で、さまざまな競合ベースラインよりも優れていることが示されています。
コードは https://github.com/dongyuanjushi/LightLM にあります。

要約(オリジナル)

This paper presents LightLM, a lightweight Transformer-based language model for generative recommendation. While Transformer-based generative modeling has gained importance in various AI sub-fields such as NLP and vision, generative recommendation is still in its infancy due to its unique demand on personalized generative modeling. Existing works on generative recommendation often use NLP-oriented Transformer architectures such as T5, GPT, LLaMA and M6, which are heavy-weight and are not specifically designed for recommendation tasks. LightLM tackles the issue by introducing a light-weight deep and narrow Transformer architecture, which is specifically tailored for direct generation of recommendation items. This structure is especially apt for straightforward generative recommendation and stems from the observation that language model does not have to be too wide for this task, as the input predominantly consists of short tokens that are well-suited for the model’s capacity. We also show that our devised user and item ID indexing methods, i.e., Spectral Collaborative Indexing (SCI) and Graph Collaborative Indexing (GCI), enables the deep and narrow Transformer architecture to outperform large-scale language models for recommendation. Besides, to address the hallucination problem of generating items as output, we propose the constrained generation process for generative recommenders. Experiments on real-world datasets show that LightLM outperforms various competitive baselines in terms of both recommendation accuracy and efficiency. The code can be found at https://github.com/dongyuanjushi/LightLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google