Exploring Semantic Attributes from A Foundation Model for Federated Learning of Disjoint Label Spaces

要約

従来の集中型深層学習パラダイムは、データ プライバシーや送信制限により、異なるソースからのデータを共有できない場合には実現できません。
この問題を解決するために、グローバルに汎用化された中央モデル (サーバー) を最適化しながら、非共有データを使用して複数のソース (クライアント) 間で知識を転送するフェデレーテッド ラーニングが導入されました。
既存のフェデレーテッド ラーニング パラダイムは、主に全体的な高レベルの知識 (クラスなど) をモデル間で転送することに重点を置いており、モデルは特定の対象オブジェクトと密接に関連しているため、逆攻撃を受ける可能性があります。
対照的に、この研究では、特定の関心対象に敏感ではないため、プライバシー保護と拡張性がより高い中間レベルの意味論的知識 (属性など) の転送を検討します。
この目的を達成するために、私たちは、共有されていないローカル データを使用して複数のローカル クライアントで中間レベルのセマンティック知識を学習し、グローバルに汎用化された展開用の中央モデルを累積的に集約するための新しいフェデレーション ゼロショット ラーニング (FZSL) パラダイムを策定します。
モデルの識別能力を向上させるために、FZSL の中間レベルの意味論的空間を強化するために、外部知識からの意味論的知識の拡張を探索することを提案します。
5 つのゼロショット学習ベンチマーク データセットに対する広範な実験により、中レベルのセマンティックな知識伝達を備えた一般化可能なフェデレーテッド ラーニング モデルを最適化するためのアプローチの有効性が検証されました。

要約(オリジナル)

Conventional centralised deep learning paradigms are not feasible when data from different sources cannot be shared due to data privacy or transmission limitation. To resolve this problem, federated learning has been introduced to transfer knowledge across multiple sources (clients) with non-shared data while optimising a globally generalised central model (server). Existing federated learning paradigms mostly focus on transferring holistic high-level knowledge (such as class) across models, which are closely related to specific objects of interest so may suffer from inverse attack. In contrast, in this work, we consider transferring mid-level semantic knowledge (such as attribute) which is not sensitive to specific objects of interest and therefore is more privacy-preserving and scalable. To this end, we formulate a new Federated Zero-Shot Learning (FZSL) paradigm to learn mid-level semantic knowledge at multiple local clients with non-shared local data and cumulatively aggregate a globally generalised central model for deployment. To improve model discriminative ability, we propose to explore semantic knowledge augmentation from external knowledge for enriching the mid-level semantic space in FZSL. Extensive experiments on five zeroshot learning benchmark datasets validate the effectiveness of our approach for optimising a generalisable federated learning model with mid-level semantic knowledge transfer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google