Beyond RMSE and MAE: Introducing EAUC to unmask hidden bias and unfairness in dyadic regression models

要約

エンティティのペアの実数値予測を出力する二項回帰モデルは、多くの領域 (例: レコメンダー システムでのユーザー製品評価の取得) では基礎的ですが、その他の領域 (例: 個別化された薬理学における患者の薬剤投与量の調整) では有望ですがまだ研究中です。
この研究では、個々のエンティティの不均一な観測値分布が最先端のモデルに深刻なバイアスをもたらし、エンティティの過去の観測値の平均に向かって予測を歪め、ランダムよりも悪い予測を提供することを証明しました。
風変わりだが重大な事件で力を発揮する。
この現象を偏心バイアスと名付けます。
私たちは、二乗平均平方根誤差 (RMSE) のようなグローバルな誤差測定基準では、この偏りを捉えるには不十分であることを示し、研究されたすべてのドメインとモデルでそれを定量化できる新しい補完的な測定基準として、曲線下偏心率面積 (EAUC) を導入します。
私たちは、単純なトレーニング後のバイアス補正を実験することで EAUC の直感的な解釈を証明し、公平なモデルの構築をガイドするために EAUC を使用するための他のオプションを理論化します。
この研究は、そのようなシステムの重要な現実世界のアプリケーションにおける不公平を防ぐために、二項回帰のバイアスを意識した評価に貢献します。

要約(オリジナル)

Dyadic regression models, which output real-valued predictions for pairs of entities, are fundamental in many domains (e.g. obtaining user-product ratings in Recommender Systems) and promising and under exploration in others (e.g. tuning patient-drug dosages in personalized pharmacology). In this work, we prove that non-uniform observed value distributions of individual entities lead to severe biases in state-of-the-art models, skewing predictions towards the average of observed past values for the entity and providing worse-than-random predictive power in eccentric yet crucial cases; we name this phenomenon eccentricity bias. We show that global error metrics like Root Mean Squared Error (RMSE) are insufficient to capture this bias, and we introduce Eccentricity-Area Under the Curve (EAUC) as a novel complementary metric that can quantify it in all studied domains and models. We prove the intuitive interpretation of EAUC by experimenting with naive post-training bias corrections, and theorize other options to use EAUC to guide the construction of fair models. This work contributes a bias-aware evaluation of dyadic regression to prevent unfairness in critical real-world applications of such systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google