Partial Disentanglement with Partially-Federated GANs (PaDPaF)

要約

フェデレーテッド ラーニングは、レコメンデーション システム、モノのインターネット (IoT)、ヘルスケア、自動運転車など、多くの潜在的な現実のアプリケーションを備えた一般的な機械学習パラダイムになっています。
現在のほとんどのアプリケーションは分類ベースのタスクに焦点を当てていますが、パーソナライズされた生成モデルの学習はほとんど未開拓のままであり、異種環境での利点をさらに理解する必要があります。
この作業は、クライアントに依存しないグローバルなモデルとクライアント固有のローカルな生成モデルを組み合わせた新しいアーキテクチャを提案します。
フェデレーテッド モデルをトレーニングするための標準的な手法を使用して、提案されたモデルがプライバシーとパーソナライゼーションを達成することを示します。これは、グローバルに一貫した表現 (つまり、コンテンツ) をクライアント依存のバリエーション (つまり、スタイル) から暗黙的に解きほぐすことによって達成されます。
このような分解を使用して、パーソナライズされたモデルは、クライアントの特定のスタイルを維持しながら、ローカルで目に見えないラベルを生成でき、グローバル コンテンツ機能で単純な線形分類子をトレーニングすることにより、すべてのクライアントのラベルを高精度で予測できます。
さらに、もつれを解くことにより、コンテンツのみを共有することで、データの匿名化などの他の重要なアプリケーションが可能になります。
広範な実験的評価により、私たちの調査結果が裏付けられ、提案されたアプローチの部分的な理論的正当化も提供されます。

要約(オリジナル)

Federated learning has become a popular machine learning paradigm with many potential real-life applications, including recommendation systems, the Internet of Things (IoT), healthcare, and self-driving cars. Though most current applications focus on classification-based tasks, learning personalized generative models remains largely unexplored, and their benefits in the heterogeneous setting still need to be better understood. This work proposes a novel architecture combining global client-agnostic and local client-specific generative models. We show that using standard techniques for training federated models, our proposed model achieves privacy and personalization that is achieved by implicitly disentangling the globally-consistent representation (i.e. content) from the client-dependent variations (i.e. style). Using such decomposition, personalized models can generate locally unseen labels while preserving the given style of the client and can predict the labels for all clients with high accuracy by training a simple linear classifier on the global content features. Furthermore, disentanglement enables other essential applications, such as data anonymization, by sharing only content. Extensive experimental evaluation corroborates our findings, and we also provide partial theoretical justifications for the proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google