Fair Distributed Machine Learning with Imbalanced Data as a Stackelberg Evolutionary Game

要約

分散学習により、データセットを集中管理することなくディープラーニングアルゴリズムのトレーニングが可能になり、データプライバシー、運用効率の向上、データ所有権ポリシーの促進などのメリットが得られます。
ただし、データの大幅な不均衡がこのフレームワークに課題をもたらします。
分散学習環境で小規模なデータセットを使用する参加者は、大規模なデータセットを使用する参加者よりも悪い結果しか得られないことがよくあります。
データの不均衡は医療分野で特に顕著であり、患者集団の違い、技術的な不平等、データ収集慣行の相違によって引き起こされます。
この論文では、分散学習をシュタッケルベルク進化ゲームとして考察します。
各トレーニング ラウンドでグローバル モデルへの各ノードの寄与の重みを設定するための 2 つのアルゴリズム、決定的 Stackelberg 重み付けモデル (DSWM) と適応的 Stackelberg 重み付けモデル (ASWM) を紹介します。
3 つの医療データセットを使用して、分散学習における過小評価されたノードに対する動的重み付けの影響を強調します。
私たちの結果は、ASWM が過小評価されたノードのパフォーマンスを AUC で 2.713% 向上させることで大幅に有利であることを示しています。
一方、より大きなデータセットを持つノードでは、平均パフォーマンスの低下はわずか 0.441% にとどまります。

要約(オリジナル)

Decentralised learning enables the training of deep learning algorithms without centralising data sets, resulting in benefits such as improved data privacy, operational efficiency and the fostering of data ownership policies. However, significant data imbalances pose a challenge in this framework. Participants with smaller datasets in distributed learning environments often achieve poorer results than participants with larger datasets. Data imbalances are particularly pronounced in medical fields and are caused by different patient populations, technological inequalities and divergent data collection practices. In this paper, we consider distributed learning as an Stackelberg evolutionary game. We present two algorithms for setting the weights of each node’s contribution to the global model in each training round: the Deterministic Stackelberg Weighting Model (DSWM) and the Adaptive Stackelberg Weighting Model (ASWM). We use three medical datasets to highlight the impact of dynamic weighting on underrepresented nodes in distributed learning. Our results show that the ASWM significantly favours underrepresented nodes by improving their performance by 2.713% in AUC. Meanwhile, nodes with larger datasets experience only a modest average performance decrease of 0.441%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google