PaDPaF: Partial Disentanglement with Partially-Federated GANs

要約

フェデレーテッド ラーニングは、レコメンデーション システム、モノのインターネット (IoT)、ヘルスケア、自動運転車など、多くの潜在的な現実のアプリケーションを備えた人気の機械学習パラダイムとなっています。
現在のアプリケーションのほとんどは分類ベースのタスクに重点を置いていますが、パーソナライズされた生成モデルの学習はほとんど解明されておらず、異種環境におけるその利点については、さらに理解する必要があります。
この研究では、グローバルなクライアントに依存しない生成モデルとローカルなクライアント固有の生成モデルを組み合わせた新しいアーキテクチャを提案しています。
私たちが提案するモデルは、フェデレーテッド モデルをトレーニングするための標準的な手法を使用して、グローバルに一貫した表現 (つまり、コンテンツ) をクライアント依存のバリエーション (つまり、スタイル) から暗黙的に解きほぐすことで、プライバシーとパーソナライゼーションを実現することを示します。
このような分解を使用すると、パーソナライズされたモデルは、クライアントの特定のスタイルを維持しながら、ローカルで目に見えないラベルを生成でき、グローバル コンテンツ特徴で単純な線形分類器をトレーニングすることにより、すべてのクライアントのラベルを高精度で予測できます。
さらに、もつれの解除により、コンテンツのみを共有することで、データの匿名化などの他の重要なアプリケーションが可能になります。
広範な実験的評価により我々の発見が裏付けられ、提案されたアプローチの理論的動機についても議論します。

要約(オリジナル)

Federated learning has become a popular machine learning paradigm with many potential real-life applications, including recommendation systems, the Internet of Things (IoT), healthcare, and self-driving cars. Though most current applications focus on classification-based tasks, learning personalized generative models remains largely unexplored, and their benefits in the heterogeneous setting still need to be better understood. This work proposes a novel architecture combining global client-agnostic and local client-specific generative models. We show that using standard techniques for training federated models, our proposed model achieves privacy and personalization by implicitly disentangling the globally consistent representation (i.e. content) from the client-dependent variations (i.e. style). Using such decomposition, personalized models can generate locally unseen labels while preserving the given style of the client and can predict the labels for all clients with high accuracy by training a simple linear classifier on the global content features. Furthermore, disentanglement enables other essential applications, such as data anonymization, by sharing only the content. Extensive experimental evaluation corroborates our findings, and we also discuss a theoretical motivation for the proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google