Multi-Margin Cosine Loss: Proposal and Application in Recommender Systems

要約

レコメンダー システムは、ユーザーの予測された好みに基づいてアイテムを提案することで、膨大な量の情報をユーザーに案内します。
協調フィルタリング ベースの深層学習技術は、ユーザーとアイテムの対話のみに依存するその単純な性質により、人気が再び高まっています。
通常、これらのシステムは、相互作用モジュール、損失関数、およびネガティブ サンプリング戦略という 3 つの主要コンポーネントで構成されます。
当初、研究者たちは複雑な対話モジュールを開発することでパフォーマンスを向上させることに焦点を当てていました。
しかし、最近では、損失関数とネガティブ サンプリング戦略を洗練する方向に移行しています。
この変化により、類似したペアを近づける一方、異なるペアを遠ざける対照学習への関心が高まっています。
対照学習では、高いメモリ要求や一部のネガティブ サンプルの活用不足などの課題が発生する可能性があります。
提案されたマルチマージン コサイン損失 (MMCL) は、複数のマージンを導入し、ネガティブ サンプルの重みを変えることで、これらの課題に対処します。
これは、最も困難なネガだけでなく他の重要なネガも効率的に利用し、特にリソースが限られている場合に、より複雑な方法よりも優れたパフォーマンスを発揮する、よりシンプルでありながら効果的な損失関数を提供します。
2 つのよく知られたデータセットでの実験では、使用する負のサンプルの数が少ない場合、MMCL はベースライン損失関数と比較して最大 20\% のパフォーマンス向上を達成することが実証されました。

要約(オリジナル)

Recommender systems guide users through vast amounts of information by suggesting items based on their predicted preferences. Collaborative filtering-based deep learning techniques have regained popularity due to their straightforward nature, relying only on user-item interactions. Typically, these systems consist of three main components: an interaction module, a loss function, and a negative sampling strategy. Initially, researchers focused on enhancing performance by developing complex interaction modules. However, there has been a recent shift toward refining loss functions and negative sampling strategies. This shift has led to an increased interest in contrastive learning, which pulls similar pairs closer while pushing dissimilar ones apart. Contrastive learning may bring challenges like high memory demands and under-utilization of some negative samples. The proposed Multi-Margin Cosine Loss (MMCL) addresses these challenges by introducing multiple margins and varying weights for negative samples. It efficiently utilizes not only the hardest negatives but also other non-trivial negatives, offers a simpler yet effective loss function that outperforms more complex methods, especially when resources are limited. Experiments on two well-known datasets demonstrated that MMCL achieved up to a 20\% performance improvement compared to a baseline loss function when fewer number of negative samples are used.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google