Contextual Bandit with Herding Effects: Algorithms and Recommendation Applications

要約

コンテキスト バンディットは、オンラインでの推奨決定を最適化するための基本的なアルゴリズム フレームワークとして機能します。
レコメンデーションアプリケーション向けにコンテキストバンディットを調整することに広範な注意が払われてきましたが、ユーザーフィードバックの「群集効果」は無視されてきました。
これらの群れ効果は、ユーザーのフィードバックを過去の評価に偏らせ、コンテキストバンディットに固有の不偏フィードバックの前提を打ち破ります。
この論文では、ハーディング効果によって引き起こされるフィードバック バイアスに対処するように調整されたコンテキスト バンディットの新しいバリアントを開発します。
ユーザー フィードバック モデルは、このフィードバック バイアスを捕捉するために定式化されます。
私たちは TS-Conf (Thompson Sampling under Conformity) アルゴリズムを設計します。これは、事後サンプリングを使用して探索と活用のトレードオフのバランスをとります。
アルゴリズムのリグレットの上限を証明し、学習速度に対する群集効果の影響を明らかにしました。
データセットに対する広範な実験により、TS-Conf が 4 つのベンチマーク アルゴリズムよりも優れていることが実証されました。
分析の結果、TS-Conf はハーディング効果の悪影響を効果的に軽減し、その結果、学習が高速化し、推奨精度が向上することが明らかになりました。

要約(オリジナル)

Contextual bandits serve as a fundamental algorithmic framework for optimizing recommendation decisions online. Though extensive attention has been paid to tailoring contextual bandits for recommendation applications, the ‘herding effects’ in user feedback have been ignored. These herding effects bias user feedback toward historical ratings, breaking down the assumption of unbiased feedback inherent in contextual bandits. This paper develops a novel variant of the contextual bandit that is tailored to address the feedback bias caused by the herding effects. A user feedback model is formulated to capture this feedback bias. We design the TS-Conf (Thompson Sampling under Conformity) algorithm, which employs posterior sampling to balance the exploration and exploitation tradeoff. We prove an upper bound for the regret of the algorithm, revealing the impact of herding effects on learning speed. Extensive experiments on datasets demonstrate that TS-Conf outperforms four benchmark algorithms. Analysis reveals that TS-Conf effectively mitigates the negative impact of herding effects, resulting in faster learning and improved recommendation accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google