Dynamic Environment Responsive Online Meta-Learning with Fairness Awareness

要約

公平性を意識したオンライン学習フレームワークは、継続的な生涯学習の文脈における強力なツールとして浮上しています。
このシナリオでは、学習者の目的は、時間の経過とともに到着する新しいタスクを徐々に習得すると同時に、新しく導入されたタスクに関しては、人種や性別など、保護されているさまざまな部分母集団間の統計的同等性を保証することです。
現在のアプローチの重大な制限は、データに関する i.i.d (独立かつ同一に分散) 仮定に大きく依存していることであり、フレームワークの静的なリグレス分析につながります。
それにもかかわらず、静的なリグレスを低く抑えることが、さまざまなディストリビューションからサンプリングされたタスクを特徴とする動的環境での優れたパフォーマンスに必ずしもつながるわけではないことに注意することが重要です。
この論文では、進化する設定における公平性を意識したオンライン学習の課題に取り組むために、強力に適応された損失後悔フレームワークに長期公平性制約を組み込むことにより、独自の後悔尺度である FairSAR を導入します。
さらに、各タイム ステップで最適なモデル パラメーターを決定するために、FairSAOML ​​と呼ばれる革新的な適応型公平性を意識したオンライン メタ学習アルゴリズムを導入します。
このアルゴリズムは、バイアス制御とモデルの精度を効果的に管理することで、動的な環境に適応する機能を備えています。
この問題は、モデルの主パラメータと二重パラメータ (それぞれ精度と公平性の属性に関係する) の両方を考慮した、2 レベルの凸面と凹面の最適化として構成されています。
理論的分析により、損失後悔と公平性制約の累積違反の両方について線形未満の上限が得られます。
動的環境におけるさまざまな実世界のデータセットに対する私たちの実験的評価は、私たちが提案した FairSAOML ​​アルゴリズムが、最も先進的な以前のオンライン学習方法に根ざした代替アプローチよりも一貫して優れていることを示しています。

要約(オリジナル)

The fairness-aware online learning framework has emerged as a potent tool within the context of continuous lifelong learning. In this scenario, the learner’s objective is to progressively acquire new tasks as they arrive over time, while also guaranteeing statistical parity among various protected sub-populations, such as race and gender, when it comes to the newly introduced tasks. A significant limitation of current approaches lies in their heavy reliance on the i.i.d (independent and identically distributed) assumption concerning data, leading to a static regret analysis of the framework. Nevertheless, it’s crucial to note that achieving low static regret does not necessarily translate to strong performance in dynamic environments characterized by tasks sampled from diverse distributions. In this paper, to tackle the fairness-aware online learning challenge in evolving settings, we introduce a unique regret measure, FairSAR, by incorporating long-term fairness constraints into a strongly adapted loss regret framework. Moreover, to determine an optimal model parameter at each time step, we introduce an innovative adaptive fairness-aware online meta-learning algorithm, referred to as FairSAOML. This algorithm possesses the ability to adjust to dynamic environments by effectively managing bias control and model accuracy. The problem is framed as a bi-level convex-concave optimization, considering both the model’s primal and dual parameters, which pertain to its accuracy and fairness attributes, respectively. Theoretical analysis yields sub-linear upper bounds for both loss regret and the cumulative violation of fairness constraints. Our experimental evaluation on various real-world datasets in dynamic environments demonstrates that our proposed FairSAOML algorithm consistently outperforms alternative approaches rooted in the most advanced prior online learning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google