FairBranch: Mitigating Bias Transfer in Fair Multi-task Learning

要約

マルチタスク学習 (MTL) の汎化能力は、関係のないタスクが、競合する勾配で共有パラメータを更新することによって互いに悪影響を与えると低下します。
これはネガティブ転送として知られており、シングルタスク学習 (STL) と比較して MTL 精度の低下につながります。
最近では、MTL モデルの公平性にますます注目が集まっており、個々のタスクの精度と公平性の両方を最適化する必要があります。
精度に対する負の転送と同様に、共同学習されたタスク間に公平性損失勾配の矛盾がある場合、タスク固有の公平性の考慮事項が他のタスクの公平性に悪影響を与える可能性があります。これをバイアス転送と呼びます。
MTL における負の転送とバイアス転送の両方に対処するために、我々は FairBranch と呼ばれる新しい方法を提案します。この方法は、学習したパラメータの類似性を評価することで MTL モデルを分岐させ、それによって関連するタスクをグループ化して負の転送を軽減します。
さらに、隣接するタスク グループ ブランチ間の公平性損失勾配競合補正を組み込んで、これらのタスク グループ内のバイアス伝達に対処します。
表形式および視覚的な MTL 問題に関する実験では、FairBranch が公平性と精度の両方で最先端の MTL よりも優れていることがわかりました。

要約(オリジナル)

The generalisation capacity of Multi-Task Learning (MTL) suffers when unrelated tasks negatively impact each other by updating shared parameters with conflicting gradients. This is known as negative transfer and leads to a drop in MTL accuracy compared to single-task learning (STL). Lately, there has been a growing focus on the fairness of MTL models, requiring the optimization of both accuracy and fairness for individual tasks. Analogously to negative transfer for accuracy, task-specific fairness considerations might adversely affect the fairness of other tasks when there is a conflict of fairness loss gradients between the jointly learned tasks – we refer to this as Bias Transfer. To address both negative- and bias-transfer in MTL, we propose a novel method called FairBranch, which branches the MTL model by assessing the similarity of learned parameters, thereby grouping related tasks to alleviate negative transfer. Moreover, it incorporates fairness loss gradient conflict correction between adjoining task-group branches to address bias transfer within these task groups. Our experiments on tabular and visual MTL problems show that FairBranch outperforms state-of-the-art MTLs on both fairness and accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google