Beyond RMSE and MAE: Introducing EAUC to unmask hidden bias and unfairness in dyadic regression models

要約

エンティティのペアの実数値の結果を予測する二項回帰モデルは、多くの分野 (例: レコメンダー システムでの製品に対するユーザーの評価の予測) で基礎的ですが、他の多くの領域 (例: 適切な投与量の概算) では有望であり、研究中です。
個別化薬理学における患者のための薬）。
この研究では、個々のエンティティの観測値の分布の不均一性が、最先端のモデルにおける著しく偏った予測につながり、予測がエンティティの過去の観測値の平均に偏り、より悪い結果が得られることを実証します。
– 風変わりだが同様に重要なケースにおけるランダムな予測力。
我々は、二乗平均平方根誤差 (RMSE) や平均絶対誤差 (MAE) などのグローバル誤差メトリックの使用だけでは、偏心バイアスと名付けたこの現象を捉えるには不十分であることを示し、次のように曲線下偏心率面積 (EAUC) を導入します。
研究されたすべてのモデルとデータセットでそれを定量化できる新しい補完的な指標。
また、単純なバイアス除去補正を使用して、モデルのバイアスが低いほど EAUC が低くなり、その逆も相関することを実証することで、EAUC が適切であることも証明します。
この研究は、二項回帰モデルのバイアスを意識した評価に貢献し、そのようなシステムの重要な現実世界のアプリケーションにおける潜在的な不公平性とリスクを回避します。

要約(オリジナル)

Dyadic regression models, which predict real-valued outcomes for pairs of entities, are fundamental in many domains (e.g. predicting the rating of a user to a product in Recommender Systems) and promising and under exploration in many others (e.g. approximating the adequate dosage of a drug for a patient in personalized pharmacology). In this work, we demonstrate that non-uniformity in the observed value distributions of individual entities leads to severely biased predictions in state-of-the-art models, skewing predictions towards the average of observed past values for the entity and providing worse-than-random predictive power in eccentric yet equally important cases. We show that the usage of global error metrics like Root Mean Squared Error (RMSE) and Mean Absolute Error (MAE) is insufficient to capture this phenomenon, which we name eccentricity bias, and we introduce Eccentricity-Area Under the Curve (EAUC) as a new complementary metric that can quantify it in all studied models and datasets. We also prove the adequateness of EAUC by using naive de-biasing corrections to demonstrate that a lower model bias correlates with a lower EAUC and vice-versa. This work contributes a bias-aware evaluation of dyadic regression models to avoid potential unfairness and risks in critical real-world applications of such systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google