Confidence-Aware Multi-Field Model Calibration

要約

クリックやコンバージョンなどのユーザー フィードバックの確率を正確に予測することは、広告のランキングと入札にとって重要です。
ただし、データ分布のシフトやモデル固有のバイアスにより、予測確率と真の尤度の間に望ましくない不一致が存在することがよくあります。
キャリブレーションは、モデル予測を後処理することでこの問題に対処することを目的とし、フィールド認識キャリブレーションは、さまざまな特徴フィールド値に基づいてモデルの出力を調整して、きめ細かい広告需要を満たすことができます。
残念ながら、特定の磁場値に対応する観察されたサンプルは、信頼性の高い校正を行うには限定されすぎている可能性があり、バイアス増幅やオンライン妨害が発生する可能性があります。
この論文では、サンプル統計から導出された信頼レベルに基づいてキャリブレーション強度を適応的に調整する、信頼性を意識したマルチフィールドキャリブレーション方法を提案します。
また、単一フィールドのデータ スパース性の影響を軽減するための重要性を認識した上で、共同モデル キャリブレーションに複数の特徴フィールドを利用します。
広範なオフラインおよびオンライン実験により、広告パフォーマンスの向上と予測の逸脱の削減における当社の手法の優位性が示されています。

要約(オリジナル)

Accurately predicting the probabilities of user feedback, such as clicks and conversions, is critical for ad ranking and bidding. However, there often exist unwanted mismatches between predicted probabilities and true likelihoods due to the shift of data distributions and intrinsic model biases. Calibration aims to address this issue by post-processing model predictions, and field-aware calibration can adjust model output on different feature field values to satisfy fine-grained advertising demands. Unfortunately, the observed samples corresponding to certain field values can be too limited to make confident calibrations, which may yield bias amplification and online disturbance. In this paper, we propose a confidence-aware multi-field calibration method, which adaptively adjusts the calibration intensity based on the confidence levels derived from sample statistics. It also utilizes multiple feature fields for joint model calibration with awareness of their importance to mitigate the data sparsity effect of a single field. Extensive offline and online experiments show the superiority of our method in boosting advertising performance and reducing prediction deviations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google