Inference-Time Selective Debiasing

要約

私たちは選択的バイアス軽減を提案します。これは、モデルの再トレーニングが法外な場合に、予測パフォーマンスと公平性の観点からモデルの全体的な品質を向上させることを目的とした推論時の安全メカニズムです。
この方法は、低品質とみなされる一部の予測が推論時に破棄される選択的予測からインスピレーションを得ています。
私たちのアプローチでは、潜在的にバイアスがかかっている可能性のあるモデル予測を特定し、それらを破棄するのではなく、後処理バイアス除去手法である LEACE を使用してバイアスを除去します。
問題のある予測を選択するために、KL 発散に基づくバイアス定量化アプローチを提案します。これにより、標準的な UQ 手法よりも優れた結果が得られます。
テキスト分類データセットを使用した実験では、選択的バイアス除去が、後処理手法とトレーニング時および前処理のバイアス除去手法との間のパフォーマンスのギャップを埋めるのに役立つことが実証されています。

要約(オリジナル)

We propose selective debiasing — an inference-time safety mechanism that aims to increase the overall quality of models in terms of prediction performance and fairness in the situation when re-training a model is prohibitive. The method is inspired by selective prediction, where some predictions that are considered low quality are discarded at inference time. In our approach, we identify the potentially biased model predictions and, instead of discarding them, we debias them using LEACE — a post-processing debiasing method. To select problematic predictions, we propose a bias quantification approach based on KL divergence, which achieves better results than standard UQ methods. Experiments with text classification datasets demonstrate that selective debiasing helps to close the performance gap between post-processing methods and at-training and pre-processing debiasing techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google