FairX: A comprehensive benchmarking tool for model analysis using fairness, utility, and explainability

要約

FairXは、公平性、有用性、およびXAI（eXplainability）の傘の下でモデルの包括的な分析のために設計されたオープンソースのPythonベースのベンチマークツールです。FairXは、ユーザが偏り緩和モデルをベンチマーク学習し、幅広い公平性メトリクス、データ有用性メトリクスを用いてその公平性を評価し、統一されたフレームワークの中でモデル予測の説明を生成することを可能にする。既存のベンチマークツールには、公正な生成モデルから生成された合成データを評価する方法がなく、また公正な生成モデルを訓練するためのサポートもありません。FairXでは、フェアモデルライブラリのコレクション（前処理、処理中、後処理）にフェア生成モデルを追加し、合成フェアデータの品質を評価するための評価指標を追加します。このバージョンのFairXは、表データセットと画像データセットの両方をサポートしています。また、ユーザーが独自のカスタムデータセットを提供することも可能です。オープンソースの FairX ベンチマーク・パッケージは \url{https://github.com/fahim-sikder/FairX} で公開されています。

要約(オリジナル)

We present FairX, an open-source Python-based benchmarking tool designed for the comprehensive analysis of models under the umbrella of fairness, utility, and eXplainability (XAI). FairX enables users to train benchmarking bias-mitigation models and evaluate their fairness using a wide array of fairness metrics, data utility metrics, and generate explanations for model predictions, all within a unified framework. Existing benchmarking tools do not have the way to evaluate synthetic data generated from fair generative models, also they do not have the support for training fair generative models either. In FairX, we add fair generative models in the collection of our fair-model library (pre-processing, in-processing, post-processing) and evaluation metrics for evaluating the quality of synthetic fair data. This version of FairX supports both tabular and image datasets. It also allows users to provide their own custom datasets. The open-source FairX benchmarking package is publicly available at \url{https://github.com/fahim-sikder/FairX}.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL