Federated Compositional Deep AUC Maximization

要約

タイトル – フェデレーテッドコンポジショナルディープAUC最大化
要約-フェデレーテッド学習は、プライバシーと大規模な学習のバランスをとるという約束のために注目を集めており、多数のアプローチが提案されています。しかし、既存の方法のほとんどはバランスの取れたデータの問題に焦点を当てており、異なるクラスのサンプル数が極端に不均衡な実世界の多くのアプリケーションにおいて、予測性能は遠く満足できるものではありません。この難しい問題に対処するために、私たちは直接、曲線下面積（AUC）スコアを最適化することによって、不均衡データのための新しいフェデレーテッド学習方法を開発しました。特に、AUC最大化問題をフェデレーテッドコンポジショナルミニマックス最適化問題として定式化し、ローカルな確率的なコンポジショナル勾配降下上昇アルゴリズムを開発し、アルゴリズムの計算的および通信的複雑さの境界を与えます。私たちの知る限りで、これはこのような好ましい理論的結果を達成する最初の作品です。最後に、幅広い実験結果が私たちの方法の有効性を確認しています。
-フェデレーテッド学習は、プライバシーと大規模な学習のバランスをとるために注目されている。
-フェデレーテッド学習方法は、不均衡データに対応できるように進化してきているが、多くの実世界のアプリケーションにおいて、予測性能は遠く満足できるものではない。
-AUCスコアを直接最適化することによって、不均衡データのための新しいフェデレーテッド学習方法を開発した。
-AUC最大化問題をフェデレーテッドコンポジショナルミニマックス最適化問題として定式化し、ローカルな確率的なコンポジショナル勾配降下上昇アルゴリズムを開発した。
-アルゴリズムの計算的および通信的複雑さの境界を与え、好ましい理論的結果を達成した。
-幅広い実験結果が、この方法の有効性を確認しています。

要約(オリジナル)

Federated learning has attracted increasing attention due to the promise of balancing privacy and large-scale learning; numerous approaches have been proposed. However, most existing approaches focus on problems with balanced data, and prediction performance is far from satisfactory for many real-world applications where the number of samples in different classes is highly imbalanced. To address this challenging problem, we developed a novel federated learning method for imbalanced data by directly optimizing the area under curve (AUC) score. In particular, we formulate the AUC maximization problem as a federated compositional minimax optimization problem, develop a local stochastic compositional gradient descent ascent with momentum algorithm, and provide bounds on the computational and communication complexities of our algorithm. To the best of our knowledge, this is the first work to achieve such favorable theoretical results. Finally, extensive experimental results confirm the efficacy of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI