Classification Utility, Fairness, and Compactness via Tunable Information Bottleneck and Rényi Measures

要約

社会がAIを重要な用途に受け入れるためには、正確でありながら公正で、敏感な属性によって差別されない機械学習アルゴリズムを設計することが最も重要である。本稿では、R’enyi Fair Information Bottleneck Method (RFIB)と呼ばれる、有用性、公平性、表現のコンパクト性（圧縮）の制約を組み込んだ新しい公平な表現学習法を提案し、画像と表データの分類に適用する。本アプローチの重要な特徴は、ほとんどの先行研究とは対照的に、人口パリティと均等化オッズの両方を公平性制約として考慮し、より微妙な両基準の満足を可能にしていることである。変分法を利用して、我々の目的が古典的な情報ボトルネック（IB）尺度を含む損失関数をもたらすことを示し、入力とその符号化埋め込み間のコンパクト性を測定する相互情報IB項上の次数$α$の2つのR’enyi尺度で上限を確立する。我々は、実用性と公平性のトレードオフ目標を達成するために、$α$パラメータと他の2つの調整可能なIBパラメータの影響を研究し、$α$パラメータが表現のコンパクト性を制御するために使用できる追加の自由度を与えることを示す。3つの異なる画像データセット(EyePACS、CelebA、FairFace)と、2つの表データセット(AdultとCOMPAS)を用いて、2値とカテゴリ両方の高感度属性を用いた実験を行い、様々な効用、公平性、複合効用/公平性指標において、RFIBが現在の最先端アプローチを凌駕することを示す。

要約(オリジナル)

Designing machine learning algorithms that are accurate yet fair, not discriminating based on any sensitive attribute, is of paramount importance for society to accept AI for critical applications. In this article, we propose a novel fair representation learning method termed the R\’enyi Fair Information Bottleneck Method (RFIB) which incorporates constraints for utility, fairness, and compactness (compression) of representation, and apply it to image and tabular data classification. A key attribute of our approach is that we consider – in contrast to most prior work – both demographic parity and equalized odds as fairness constraints, allowing for a more nuanced satisfaction of both criteria. Leveraging a variational approach, we show that our objectives yield a loss function involving classical Information Bottleneck (IB) measures and establish an upper bound in terms of two R\’enyi measures of order $\alpha$ on the mutual information IB term measuring compactness between the input and its encoded embedding. We study the influence of the $\alpha$ parameter as well as two other tunable IB parameters on achieving utility/fairness trade-off goals, and show that the $\alpha$ parameter gives an additional degree of freedom that can be used to control the compactness of the representation. Experimenting on three different image datasets (EyePACS, CelebA, and FairFace) and two tabular datasets (Adult and COMPAS), using both binary and categorical sensitive attributes, we show that on various utility, fairness, and compound utility/fairness metrics RFIB outperforms current state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL