Edge-cloud Collaborative Learning with Federated and Centralized Features

要約

タイトル：中央集権的／分散型の両機能を備えたエッジクラウド・コラボレーション学習

要約：

– Federated Learning（FL）は、ユーザーのプライバシーを損なわないエッジコンピューティングの一般的な方法である。
– 現在のFLパラダイムでは、データがエッジ上にのみ存在し、クラウドサーバーはモデル平均化のみ行うとされる。
– しかし、リコメンダーシステムなどの実際の状況では、クラウドサーバーは過去のデータやインタラクティブな機能を保存することができる。
– 本論文では、提案されたEdge-Cloud Collaborative Knowledge Transfer Framework（ECCT）が、エッジとクラウドの間の双方向の知識伝達を可能にすることで、エッジデータとクラウド機能の共有には橋をかけている。
– ECCTには、パーソナライズの向上、モデルの異質性の実現、トレーニング非同期性の耐性、通信負荷の軽減など、さまざまな利点がある。
– 公開および工業用のデータセットでの広範な実験により、ECCTの有効性と学界および産業での利用の可能性が示された。

要約(オリジナル)

Federated learning (FL) is a popular way of edge computing that doesn’t compromise users’ privacy. Current FL paradigms assume that data only resides on the edge, while cloud servers only perform model averaging. However, in real-life situations such as recommender systems, the cloud server has the ability to store historical and interactive features. In this paper, our proposed Edge-Cloud Collaborative Knowledge Transfer Framework (ECCT) bridges the gap between the edge and cloud, enabling bi-directional knowledge transfer between both, sharing feature embeddings and prediction logits. ECCT consolidates various benefits, including enhancing personalization, enabling model heterogeneity, tolerating training asynchronization, and relieving communication burdens. Extensive experiments on public and industrial datasets demonstrate ECCT’s effectiveness and potential for use in academia and industry.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI