Calibration Matters: Tackling Maximization Bias in Large-scale Advertising Recommendation Systems

要約

キャリブレーションは、実際のクリック率に対する平均予測クリック率の比率として定義されます。
キャリブレーションの最適化は、広告オークションの下流の入札と広告主に請求される金額に直接影響するため、多くのオンライン広告レコメンデーション システムにとって不可欠です。
その重要性にもかかわらず、キャリブレーションの最適化は、「最大化バイアス」と呼ばれる問題に悩まされることがよくあります。
最大化バイアスとは、予測値の最大値が真の最大値を過大評価する現象を指します。
この問題は、予測モデル自体によって選択されたセットでキャリブレーションが計算されるために発生します。
すべてのデータポイントで偏りのない予測を達成できたとしても持続し、トレーニング セットとテスト セットの間に共変量シフトが存在すると悪化します。
この問題を軽減するために、最大化バイアスの定量化を理論化し、この論文で分散調整バイアス緩和 (VAD) メタアルゴリズムを提案します。
このアルゴリズムは、共変量シフト下での最大化バイアスの問題を軽減できるため、効率的で堅牢で実用的であり、追加のオンライン サービス コストが発生したり、ランキングのパフォーマンスが低下したりすることはありません。
大規模な実世界のデータセットで最先端の推奨ニューラル ネットワーク モデルを使用して、提案されたアルゴリズムの有効性を示します。

要約(オリジナル)

Calibration is defined as the ratio of the average predicted click rate to the true click rate. The optimization of calibration is essential to many online advertising recommendation systems because it directly affects the downstream bids in ads auctions and the amount of money charged to advertisers. Despite its importance, calibration optimization often suffers from a problem called ‘maximization bias’. Maximization bias refers to the phenomenon that the maximum of predicted values overestimates the true maximum. The problem is introduced because the calibration is computed on the set selected by the prediction model itself. It persists even if unbiased predictions can be achieved on every datapoint and worsens when covariate shifts exist between the training and test sets. To mitigate this problem, we theorize the quantification of maximization bias and propose a variance-adjusting debiasing (VAD) meta-algorithm in this paper. The algorithm is efficient, robust, and practical as it is able to mitigate maximization bias problems under covariate shifts, neither incurring additional online serving costs nor compromising the ranking performance. We demonstrate the effectiveness of the proposed algorithm using a state-of-the-art recommendation neural network model on a large-scale real-world dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google