FairRec: Fairness Testing for Deep Recommender Systems

要約

タイトル：深層レコメンダーシステムのためのフェアネステスト

要約：

– 深層学習を使ったレコメンダーシステムは、人々の生活を大きく便利にしているが、「フェアネス」の問題が存在する。
– 従来の深層分類モデルのフェアネステスト手法は、深層レコメンダーシステムには適用が困難である。
– この問題に対処するためには、既存のフェアネス概念と、深層レコメンダーシステムのテスト要件との明確な対応関係を確立する必要がある。
– この問題に対処するために、FairRecフレームワークを提案し、モデルの有用性、アイテムの多様性、アイテムの人気など、複数のカスタムビューから深層レコメンダーシステムのフェアネステストをサポートすることができる。
– また、問題を発見するための新しいアルゴリズムとして、double-ended discrete particle swarm optimization（DPSO）アルゴリズムを提案する。
– DPSOアルゴリズムは、多数の候補グループから特定の不利なグループを効果的に探し出すことができる。
– テストレポートを得た後、同定された不利なグループに対して簡単な再ランキング緩和戦略を採用することにより、DRSのフェアネスが大幅に改善されることを示す。
– 多数の業界レベルのDRSについて広範囲な実験を行い、95％のテスト精度を半分から1/8の時間で達成するという結果を得た。

要約(オリジナル)

Deep learning-based recommender systems (DRSs) are increasingly and widely deployed in the industry, which brings significant convenience to people’s daily life in different ways. However, recommender systems are also shown to suffer from multiple issues,e.g., the echo chamber and the Matthew effect, of which the notation of ‘fairness’ plays a core role.While many fairness notations and corresponding fairness testing approaches have been developed for traditional deep classification models, they are essentially hardly applicable to DRSs. One major difficulty is that there still lacks a systematic understanding and mapping between the existing fairness notations and the diverse testing requirements for deep recommender systems, not to mention further testing or debugging activities. To address the gap, we propose FairRec, a unified framework that supports fairness testing of DRSs from multiple customized perspectives, e.g., model utility, item diversity, item popularity, etc. We also propose a novel, efficient search-based testing approach to tackle the new challenge, i.e., double-ended discrete particle swarm optimization (DPSO) algorithm, to effectively search for hidden fairness issues in the form of certain disadvantaged groups from a vast number of candidate groups. Given the testing report, by adopting a simple re-ranking mitigation strategy on these identified disadvantaged groups, we show that the fairness of DRSs can be significantly improved. We conducted extensive experiments on multiple industry-level DRSs adopted by leading companies. The results confirm that FairRec is effective and efficient in identifying the deeply hidden fairness issues, e.g., achieving 95% testing accuracy with half to 1/8 time.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI