BMFT: Achieving Fairness via Bias-based Weight Masking Fine-tuning

要約

特に医療診断などの倫理的に敏感な領域では、堅牢なグループ公平性特性を備えたモデルを開発することが最も重要です。
機械学習で公平性を達成するための最近のアプローチは、大量のトレーニング データを必要とし、モデルの再トレーニングに依存していますが、現実のシナリオでは実用的ではない可能性があります。
これらの課題を軽減するために、私たちは、元のトレーニング データへのアクセスを必要とせずに、大幅に少ないエポックでトレーニングされたモデルの公平性を強化する新しい後処理方法である、バイアスベースの重みマスキング微調整 (BMFT) を提案します。
BMFT は、モデル パラメーターに対するマスクを生成し、偏った予測に最も寄与する重みを効率的に特定します。
さらに、我々は 2 段階のバイアス除去戦略を提案します。この戦略では、特徴抽出器が、識別されたバイアスの影響を受けた重みに対して最初の微調整を受け、その後、再初期化された分類層で微調整フェーズが続き、識別パフォーマンスを維持します。
4 つの皮膚科学データセットと 2 つの機密属性にわたる広範な実験により、BMFT が診断精度と公平性指標の両方において既存の最先端 (SOTA) 技術を上回ることが実証されました。
私たちの調査結果は、さまざまな配布外 (OOD) 設定全体で公平性を高める上での BMFT の有効性と堅牢性を強調しています。
コードは https://github.com/vios-s/BMFT で入手できます。

要約(オリジナル)

Developing models with robust group fairness properties is paramount, particularly in ethically sensitive domains such as medical diagnosis. Recent approaches to achieving fairness in machine learning require a substantial amount of training data and depend on model retraining, which may not be practical in real-world scenarios. To mitigate these challenges, we propose Bias-based Weight Masking Fine-Tuning (BMFT), a novel post-processing method that enhances the fairness of a trained model in significantly fewer epochs without requiring access to the original training data. BMFT produces a mask over model parameters, which efficiently identifies the weights contributing the most towards biased predictions. Furthermore, we propose a two-step debiasing strategy, wherein the feature extractor undergoes initial fine-tuning on the identified bias-influenced weights, succeeded by a fine-tuning phase on a reinitialised classification layer to uphold discriminative performance. Extensive experiments across four dermatological datasets and two sensitive attributes demonstrate that BMFT outperforms existing state-of-the-art (SOTA) techniques in both diagnostic accuracy and fairness metrics. Our findings underscore the efficacy and robustness of BMFT in advancing fairness across various out-of-distribution (OOD) settings. Our code is available at: https://github.com/vios-s/BMFT

arxiv情報

提供元, 利用サービス

arxiv.jp, Google