The Future is Sparse: Embedding Compression for Scalable Retrieval in Recommender Systems

要約

業界規模の推奨システムは、コアの課題に直面しています。ユーザーやアイテムなど、高いカーディナリティを持つエンティティを表現し、トレーニングと推論の両方でアクセスできる密な埋め込みを使用します。
ただし、埋め込みサイズが大きくなると、メモリの制約により、ストレージとアクセスがますます困難になります。
密な埋め込みを高次元のまばらに活性化した空間に投影する軽量で学習可能な埋め込み圧縮技術について説明します。
検索タスク用に設計されたこの方法は、検索パフォーマンスを維持しながらメモリ要件を削減し、厳格なリソースの制約の下でスケーラブルな展開を可能にします。
私たちの結果は、スパースを活用することが、大規模な推奨者の効率を改善するための有望なアプローチであることを示しています。
https://github.com/recombee/compressaeでコードをリリースします。

要約(オリジナル)

Industry-scale recommender systems face a core challenge: representing entities with high cardinality, such as users or items, using dense embeddings that must be accessible during both training and inference. However, as embedding sizes grow, memory constraints make storage and access increasingly difficult. We describe a lightweight, learnable embedding compression technique that projects dense embeddings into a high-dimensional, sparsely activated space. Designed for retrieval tasks, our method reduces memory requirements while preserving retrieval performance, enabling scalable deployment under strict resource constraints. Our results demonstrate that leveraging sparsity is a promising approach for improving the efficiency of large-scale recommenders. We release our code at https://github.com/recombee/CompresSAE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google