RECE: Reduced Cross-Entropy Loss for Large-Catalogue Sequential Recommenders

要約

最新のレコメンダー システムでは、スケーラビリティが大きな課題となっています。
シーケンシャル レコメンデーションでは、完全なクロス エントロピー (CE) 損失により最先端のレコメンデーション品質が実現されますが、大規模なアイテム カタログで過剰な GPU メモリを消費するため、実用性が制限されます。
この論文では、ロジットの大きなテンソルを近似するための GPU 効率の高い局所性に敏感なハッシングのようなアルゴリズムを使用して、新しい RECE (REduced Cross-Entropy) 損失を導入します。
RECE はメモリ消費を大幅に削減しながら、完全な CE 損失による最先端のパフォーマンスを楽しむことができます。
さまざまなデータセットの実験結果では、RECE が CE 損失のパフォーマンス メトリクスを維持または上回る一方で、既存の方法と比較してトレーニングのピーク メモリ使用量を最大 12 倍削減できることが示されています。
このアプローチは、他のドメインにおける大規模アプリケーションの新たな可能性も開きます。

要約(オリジナル)

Scalability is a major challenge in modern recommender systems. In sequential recommendations, full Cross-Entropy (CE) loss achieves state-of-the-art recommendation quality but consumes excessive GPU memory with large item catalogs, limiting its practicality. Using a GPU-efficient locality-sensitive hashing-like algorithm for approximating large tensor of logits, this paper introduces a novel RECE (REduced Cross-Entropy) loss. RECE significantly reduces memory consumption while allowing one to enjoy the state-of-the-art performance of full CE loss. Experimental results on various datasets show that RECE cuts training peak memory usage by up to 12 times compared to existing methods while retaining or exceeding performance metrics of CE loss. The approach also opens up new possibilities for large-scale applications in other domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google