Fairness-Aware Low-Rank Adaptation Under Demographic Privacy Constraints

要約

事前に訓練された基礎モデルは、低ランク適応（LORA）を使用した特定のタスクに適合させることができます。
ただし、これらの適応された分類器の公平性の特性は、採用されていないままです。
既存の公平な微調整方法は、機密属性またはその予測因子への直接アクセスに依存していますが、実際には、これらの敏感な属性はしばしば厳格な消費者プライバシー制御の下で保持され、属性もその予測因子もモデル開発者が利用できず、公正なモデルの開発を妨げます。
この問題に対処するために、モデル開発者と公平性監査人が機密属性や予測因子を共有せずに協力する分散ファッションでトレーニングできる一連のLORAベースの微調整方法を紹介します。
このホワイトペーパーでは、イメージネットの事前訓練を受けたVITベースモデルを使用したセレバとUTKフェイスデータセットの実験を使用して、公平性とアウェアのベースラインに対して、敏感な未学習、敵対的訓練、直交訓練、直交の損失 – 3つのそのような方法を評価します。
正義の損失は、有用性を維持または改善しながら一貫してバイアスを軽減しますが、敵対的なトレーニングは場合によっては偽陽性率のパリティと人口統計のパリティを改善し、デリケートな解除は明確な利益をもたらさないことがわかります。
重要なバイアスが存在するタスクでは、分散された公正された微調整方法は、消費者のプライバシーを損なうことなくバイアスを効果的に排除し、ほとんどの場合、モデルの有用性を向上させることができます。

要約(オリジナル)

Pre-trained foundation models can be adapted for specific tasks using Low-Rank Adaptation (LoRA). However, the fairness properties of these adapted classifiers remain underexplored. Existing fairness-aware fine-tuning methods rely on direct access to sensitive attributes or their predictors, but in practice, these sensitive attributes are often held under strict consumer privacy controls, and neither the attributes nor their predictors are available to model developers, hampering the development of fair models. To address this issue, we introduce a set of LoRA-based fine-tuning methods that can be trained in a distributed fashion, where model developers and fairness auditors collaborate without sharing sensitive attributes or predictors. In this paper, we evaluate three such methods – sensitive unlearning, adversarial training, and orthogonality loss – against a fairness-unaware baseline, using experiments on the CelebA and UTK-Face datasets with an ImageNet pre-trained ViT-Base model. We find that orthogonality loss consistently reduces bias while maintaining or improving utility, whereas adversarial training improves False Positive Rate Parity and Demographic Parity in some cases, and sensitive unlearning provides no clear benefit. In tasks where significant biases are present, distributed fairness-aware fine-tuning methods can effectively eliminate bias without compromising consumer privacy and, in most cases, improve model utility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google