On the Embedding Collapse when Scaling up Recommendation Models

要約

深層基盤モデルの最近の進歩により、利用可能な膨大な量のデータを活用する大規模なレコメンデーション モデルを開発するという有望な傾向が生まれています。
ただし、既存の推奨モデルをスケールアップする実験を行ったところ、拡大されたモデルが十分に改善されないことが観察されました。
これに関連して、拡大モデルの埋め込み層を調査し、埋め込み行列が低次元の部分空間に存在する傾向があるという、最終的にスケーラビリティを妨げる埋め込み崩壊の現象を特定します。
実証的および理論的分析を通じて、推奨モデルに特有の機能相互作用モジュールには両面の効果があることを実証します。
一方で、このインタラクションにより、折りたたまれたエンベディングを操作する場合のエンベディング学習が制限され、崩壊の問題が悪化します。
一方、特徴の相互作用は、偽の特徴のフィッティングを軽減し、それによってスケーラビリティを向上させる上で重要です。
この分析に基づいて、多様なパターンを捕捉し、崩壊を軽減するための、エンベディングセット固有のインタラクションモジュールを組み込んだシンプルかつ効果的なマルチエンベディング設計を提案します。
広範な実験により、この提案された設計がさまざまな推奨モデルに対して一貫したスケーラビリティを提供することが実証されました。

要約(オリジナル)

Recent advances in deep foundation models have led to a promising trend of developing large recommendation models to leverage vast amounts of available data. However, we experiment to scale up existing recommendation models and observe that the enlarged models do not improve satisfactorily. In this context, we investigate the embedding layers of enlarged models and identify a phenomenon of embedding collapse, which ultimately hinders scalability, wherein the embedding matrix tends to reside in a low-dimensional subspace. Through empirical and theoretical analysis, we demonstrate that the feature interaction module specific to recommendation models has a two-sided effect. On the one hand, the interaction restricts embedding learning when interacting with collapsed embeddings, exacerbating the collapse issue. On the other hand, feature interaction is crucial in mitigating the fitting of spurious features, thereby improving scalability. Based on this analysis, we propose a simple yet effective multi-embedding design incorporating embedding-set-specific interaction modules to capture diverse patterns and reduce collapse. Extensive experiments demonstrate that this proposed design provides consistent scalability for various recommendation models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google