Fairer and More Accurate Tabular Models Through NAS

要約

表形式データにおいてモデルをアルゴリズム的により公平にすることは長い間研究されてきましたが、その手法は通常、望ましくない結果が発生したニューラル モデルを取得し、データの取り込み方法、モデルの重み、または出力の処理方法を変更する修正を目的としています。
私たちは、モデルのアーキテクチャを更新し、ハイパーパラメーターをトレーニングして、バイアス除去手順の開始時からより良い結果をもたらすまったく新しいモデルを見つけることを検討する、新たな異なる戦略を採用しています。
この研究では、表形式データの非常に困難な領域への最初のアプリケーションで、多目的ニューラル アーキテクチャ検索 (NAS) とハイパーパラメータ最適化 (HPO) を使用することを提案します。
私たちは、さまざまなデータセットにわたってアーキテクチャおよびハイパーパラメータ空間 (MLP、ResNet、および FT-Transformer) の広範な調査を実施し、モデル予測の精度と公平性メトリクスがハイパーパラメータの組み合わせに依存していることを実証しています。
NAS の精度のみを目的として最適化されたモデルは、本質的に公平性の問題に対処できないことが多いことを示します。
私たちは、精度と公平性の両方の多目的制約の中で、アーキテクチャとトレーニングのハイパーパラメータを共同で最適化する新しいアプローチを提案します。
当社は、公平性、精度、またはその両方の点で最先端のバイアス緩和手法を一貫してパレート優位に保ちながら、単一目的 (精度) 最適化の実行によって達成されるハイパーパラメータに対してパレート最適化するアーキテクチャを生成します。
この研究は、深層学習モデルにおける公平性と精度の最適化を自動化できる可能性を強調しています。

要約(オリジナル)

Making models algorithmically fairer in tabular data has been long studied, with techniques typically oriented towards fixes which usually take a neural model with an undesirable outcome and make changes to how the data are ingested, what the model weights are, or how outputs are processed. We employ an emergent and different strategy where we consider updating the model’s architecture and training hyperparameters to find an entirely new model with better outcomes from the beginning of the debiasing procedure. In this work, we propose using multi-objective Neural Architecture Search (NAS) and Hyperparameter Optimization (HPO) in the first application to the very challenging domain of tabular data. We conduct extensive exploration of architectural and hyperparameter spaces (MLP, ResNet, and FT-Transformer) across diverse datasets, demonstrating the dependence of accuracy and fairness metrics of model predictions on hyperparameter combinations. We show that models optimized solely for accuracy with NAS often fail to inherently address fairness concerns. We propose a novel approach that jointly optimizes architectural and training hyperparameters in a multi-objective constraint of both accuracy and fairness. We produce architectures that consistently Pareto dominate state-of-the-art bias mitigation methods either in fairness, accuracy or both, all of this while being Pareto-optimal over hyperparameters achieved through single-objective (accuracy) optimization runs. This research underscores the promise of automating fairness and accuracy optimization in deep learning models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google