Fair Learning to Rank with Distribution-free Risk Control

要約

Learning to Rank (LTR) 手法はオンライン経済において不可欠であり、ユーザーとアイテムプロバイダーに影響を与えます。
LTR モデルの公平性は、項目の関連性に比例して露出を割り当てるために重要です。
決定論的なランキング モデルでは、同じ関連性を持つアイテムがわずかに異なるスコアを受け取る場合、不公平な露出分布が発生する可能性があります。
プラケット・ルース (PL) モデルを組み込んだ確率的 LTR モデルは、公平性の問題に対処しますが、計算コストとパフォーマンスの保証に制限があります。
これらの制限を克服するために、我々は、モデルに依存しない新しいポストホック手法である FairLTR-RC を提案します。
FairLTR-RC は、事前トレーニングされたスコアリング関数を利用して確率的 LTR モデルを作成し、高価なトレーニングの必要性を排除します。
さらに、FairLTR-RC は、配布不要のリスク管理フレームワークを使用して、ユーザー指定のユーティリティに対して有限サンプル保証を提供します。
さらに、Thresholded PL (TPL) モデルを組み込むことで、実用性と公平性の間の効果的なトレードオフを達成できます。
いくつかのベンチマーク データセットでの実験結果は、FairLTR-RC が、指定されたレベルの実用性を保証しながら、広く使用されている決定論的 LTR モデルの公平性を大幅に向上させることを示しています。

要約(オリジナル)

Learning to Rank (LTR) methods are vital in online economies, affecting users and item providers. Fairness in LTR models is crucial to allocate exposure proportionally to item relevance. The deterministic ranking model can lead to unfair exposure distribution when items with the same relevance receive slightly different scores. Stochastic LTR models, incorporating the Plackett-Luce (PL) model, address fairness issues but have limitations in computational cost and performance guarantees. To overcome these limitations, we propose FairLTR-RC, a novel post-hoc model-agnostic method. FairLTR-RC leverages a pretrained scoring function to create a stochastic LTR model, eliminating the need for expensive training. Furthermore, FairLTR-RC provides finite-sample guarantees on a user-specified utility using distribution-free risk control framework. By additionally incorporating the Thresholded PL (TPL) model, we are able to achieve an effective trade-off between utility and fairness. Experimental results on several benchmark datasets demonstrate that FairLTR-RC significantly improves fairness in widely-used deterministic LTR models while guaranteeing a specified level of utility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google