From Models to Systems: A Comprehensive Fairness Framework for Compositional Recommender Systems

要約

機械学習における公平性の研究は、多くの場合、個々のモデルの公平なパフォーマンスを確保することに重点が置かれています。
ただし、実際のレコメンデーション システムは複数のモデル、さらには候補の検索からスコアリングと提供に至るまでの複数の段階に基づいて構築されているため、責任ある開発と導入には課題が生じます。
EU AI 法のような規制で強調されているように、このシステム レベルの視点では、個々のモデルを独立したエンティティとして監査するだけでなく、その先へ進む必要があります。
私たちは、多様なユーザー グループに提供されるエンド ユーティリティに焦点を当て、システム レベルの公平性をモデル化するための総合的なフレームワークを提案し、検索モデルやスコアリング モデルなどのコンポーネント間の相互作用を考慮します。
私たちは、モデルレベルの公平性のみに焦点を当てることの限界について正式な洞察を提供し、ユーザーの好みの不均一性を考慮した代替ツールの必要性を強調します。
システムレベルの不均衡を軽減するために、クローズドボックス最適化ツール (BayesOpt など) を適応させて、効用と資本を共同で最適化します。
私たちは、合成データセットと実際のデータセットに対する提案したフレームワークの有効性を経験的に実証し、システムレベルのフレームワークの必要性を強調します。

要約(オリジナル)

Fairness research in machine learning often centers on ensuring equitable performance of individual models. However, real-world recommendation systems are built on multiple models and even multiple stages, from candidate retrieval to scoring and serving, which raises challenges for responsible development and deployment. This system-level view, as highlighted by regulations like the EU AI Act, necessitates moving beyond auditing individual models as independent entities. We propose a holistic framework for modeling system-level fairness, focusing on the end-utility delivered to diverse user groups, and consider interactions between components such as retrieval and scoring models. We provide formal insights on the limitations of focusing solely on model-level fairness and highlight the need for alternative tools that account for heterogeneity in user preferences. To mitigate system-level disparities, we adapt closed-box optimization tools (e.g., BayesOpt) to jointly optimize utility and equity. We empirically demonstrate the effectiveness of our proposed framework on synthetic and real datasets, underscoring the need for a system-level framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google