FairTune: Optimizing Parameter Efficient Fine Tuning for Fairness in Medical Image Analysis

要約

堅牢なグループ公平性特性を備えたトレーニング モデルは、医療診断などの倫理的に敏感なアプリケーション分野において非常に重要です。
AI における人口統計上の偏りを最小限に抑えることを目的とした一連の研究が増えているにもかかわらず、この問題は依然として困難です。
この課題の主な理由は、公平性の一般化のギャップです。大容量の深層学習モデルは、すべてのトレーニング データにほぼ完全に適合できるため、トレーニング中に完全な公平性も示します。
この場合、偏りはテスト中にサブグループ間で汎化パフォーマンスが異なる場合にのみ現れます。
これにより、公平な学習に関して 2 つのレベルの最適化の観点を採用するようになりました。つまり、検証の公平性に基づいて学習戦略を最適化するということです。
具体的には、パラメータ効率の高い微調整 (PEFT) 技術を使用して、事前トレーニングされたモデルを下流の医療画像処理タスクに適応させる非常に効果的なワークフローを検討します。
より多くのパラメーターを更新して目的のタスクによりよく適合できるようにするか、より少ないパラメーターを更新して汎化ギャップを削減する可能性があるかの間にはトレードオフがあります。
このトレードオフを管理するために、公平性に関して PEFT パラメーターの選択を最適化するフレームワークである FairTune を提案します。
私たちは、FairTune がさまざまな医療画像データセットの公平性の向上につながることを経験的に示しています。
コードは https://github.com/Raman1121/FairTune で入手できます。

要約(オリジナル)

Training models with robust group fairness properties is crucial in ethically sensitive application areas such as medical diagnosis. Despite the growing body of work aiming to minimise demographic bias in AI, this problem remains challenging. A key reason for this challenge is the fairness generalisation gap: High-capacity deep learning models can fit all training data nearly perfectly, and thus also exhibit perfect fairness during training. In this case, bias emerges only during testing when generalisation performance differs across subgroups. This motivates us to take a bi-level optimisation perspective on fair learning: Optimising the learning strategy based on validation fairness. Specifically, we consider the highly effective workflow of adapting pre-trained models to downstream medical imaging tasks using parameter-efficient fine-tuning (PEFT) techniques. There is a trade-off between updating more parameters, enabling a better fit to the task of interest vs. fewer parameters, potentially reducing the generalisation gap. To manage this tradeoff, we propose FairTune, a framework to optimise the choice of PEFT parameters with respect to fairness. We demonstrate empirically that FairTune leads to improved fairness on a range of medical imaging datasets. The code is available at https://github.com/Raman1121/FairTune

arxiv情報

提供元, 利用サービス

arxiv.jp, Google