Uncertainty Quantification for Fairness in Two-Stage Recommender Systems

要約

多くの大規模なレコメンデーション システムは、2 つのステージで構成されています。
第 1 段階では、アイテムの完全なプールから有望な候補の小さなサブセットを効率的にスクリーニングし、そこから第 2 段階のモデルが最終的な推奨事項をキュレートします。
このホワイト ペーパーでは、この 2 段階のアーキテクチャで項目に対するグループの公平性を確保する方法を調査します。
特に、既存の第 1 段階のレコメンダーは、第 2 段階のレコメンダーが公正なレコメンデーションを提供する見込みがないように、取り返しのつかない不公平な候補セットを選択する可能性があることがわかりました。
この目的のために、不確実性の定量化における最近の進歩に動機付けられて、第 1 段階のレコメンダーでの公平性に分配のない有限サンプルの保証を提供できる 2 つのしきい値ポリシー選択ルールを提案します。
より具体的には、クエリとアイテムの関連性モデルと、各しきい値ポリシーの関連アイテムの予想数に対する点ごとの信頼下限が与えられた場合、2 つのルールは、期待される十分な関連アイテムを含む候補の最適に近いセットを見つけます。
各アイテムのグループ。
ルールをインスタンス化するために、多くの大規模な推奨システムに豊富にある、部分的で偏った可能性のあるユーザー フィードバック データからそのような信頼限界を導き出す方法を示します。
さらに、2 つのしきい値選択ルールが最適なしきい値にどれだけ近いかについて、有限サンプル分析と漸近分析の両方を提供します。
この理論的分析を超えて、これら2つのルールが、幅広い設定の候補セットのサイズを最小限に抑えながら、各グループから十分な関連アイテムを一貫して選択できることを経験的に示しています。

要約(オリジナル)

Many large-scale recommender systems consist of two stages. The first stage efficiently screens the complete pool of items for a small subset of promising candidates, from which the second-stage model curates the final recommendations. In this paper, we investigate how to ensure group fairness to the items in this two-stage architecture. In particular, we find that existing first-stage recommenders might select an irrecoverably unfair set of candidates such that there is no hope for the second-stage recommender to deliver fair recommendations. To this end, motivated by recent advances in uncertainty quantification, we propose two threshold-policy selection rules that can provide distribution-free and finite-sample guarantees on fairness in first-stage recommenders. More concretely, given any relevance model of queries and items and a point-wise lower confidence bound on the expected number of relevant items for each threshold-policy, the two rules find near-optimal sets of candidates that contain enough relevant items in expectation from each group of items. To instantiate the rules, we demonstrate how to derive such confidence bounds from potentially partial and biased user feedback data, which are abundant in many large-scale recommender systems. In addition, we provide both finite-sample and asymptotic analyses of how close the two threshold selection rules are to the optimal thresholds. Beyond this theoretical analysis, we show empirically that these two rules can consistently select enough relevant items from each group while minimizing the size of the candidate sets for a wide range of settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google