Double Correction Framework for Denoising Recommendation

要約

オンライン サービスでの可用性と汎用性により、暗黙的なフィードバックはレコメンダー システムでより一般的に使用されます。
ただし、暗黙的なフィードバックは通常、実際のレコメンデーション シナリオ (ミスクリックや非優先行動など) でノイズの多いサンプルを提示し、正確なユーザーの好みの学習に影響を与えます。
ノイズの多いサンプルの問題を克服するために、一般的な解決策はモデルのトレーニング段階でノイズの多いサンプルを削除することに基づいています。これは、ノイズの多いサンプルがクリーンなサンプルよりもトレーニング損失が高いという観察に基づいています。
有効性にもかかわらず、この解決策にはまだ限界があると私たちは主張します。
(1) 高いトレーニング損失は、ノイズの多いサンプルだけでなく、モデルの最適化の不安定性やハード サンプルによって生じる可能性があります。
(2) ノイズの多いサンプルを完全に削除すると、データの疎性が悪化して、データが完全に活用されなくなります。
上記の制限に対処するために、私たちはノイズ除去推奨のための二重補正フレームワーク (DCF) を提案します。これには、より正確なサンプルの削除とよりまばらなデータの回避の観点から 2 つの補正コンポーネントが含まれています。
サンプル落下補正コンポーネントでは、時間の経過に伴うサンプルの損失値を使用してノイズかどうかを判断し、落下の安定性を高めます。
直接平均する代わりに、ダンピング関数を使用して外れ値のバイアス効果を軽減します。
さらに、硬いサンプルはより高い分散を示すため、濃度の不平等による損失の下限を導き出し、硬いサンプルを識別して再利用します。
プログレッシブラベル補正では、決定性の高いノイズの多いサンプルを繰り返し再ラベルし、再トレーニングしてパフォーマンスをさらに向上させます。
最後に、3 つのデータセットと 4 つのバックボーンに関する広範な実験結果により、私たちが提案したフレームワークの有効性と一般化が実証されました。

要約(オリジナル)

As its availability and generality in online services, implicit feedback is more commonly used in recommender systems. However, implicit feedback usually presents noisy samples in real-world recommendation scenarios (such as misclicks or non-preferential behaviors), which will affect precise user preference learning. To overcome the noisy samples problem, a popular solution is based on dropping noisy samples in the model training phase, which follows the observation that noisy samples have higher training losses than clean samples. Despite the effectiveness, we argue that this solution still has limits. (1) High training losses can result from model optimization instability or hard samples, not just noisy samples. (2) Completely dropping of noisy samples will aggravate the data sparsity, which lacks full data exploitation. To tackle the above limitations, we propose a Double Correction Framework for Denoising Recommendation (DCF), which contains two correction components from views of more precise sample dropping and avoiding more sparse data. In the sample dropping correction component, we use the loss value of the samples over time to determine whether it is noise or not, increasing dropping stability. Instead of averaging directly, we use the damping function to reduce the bias effect of outliers. Furthermore, due to the higher variance exhibited by hard samples, we derive a lower bound for the loss through concentration inequality to identify and reuse hard samples. In progressive label correction, we iteratively re-label highly deterministic noisy samples and retrain them to further improve performance. Finally, extensive experimental results on three datasets and four backbones demonstrate the effectiveness and generalization of our proposed framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google