Federated Learning Based Multilingual Emoji Prediction In Clean and Attack Scenarios

要約

タイトル：Federated Learning Based Multilingual Emoji Prediction In Clean and Attack Scenarios

要約：

– フェデレーテッド学習は、分散的かつプライベートな設計のため、機械学習コミュニティにおいて急速に成長する分野である。
– フェデレーテッド学習において、モデルのトレーニングは複数のクライアントに分散され、多くのクライアントデータにアクセスしながらプライバシーを維持する。
– この論文では、クリーンな状況と攻撃シナリオの両方でフェデレーテッド学習に基づくマルチリンガルな絵文字の予測を提案している。
– 絵文字予測データは、TwitterとSemEvalの絵文字データセットから収集されており、これらのデータを使用して、さまざまなトランスフォーマーモデルのサイズ（スパースにアクティベートされたトランスフォーマーを含む）をトレーニングおよび評価する。
– トレーニングされた変換器は、見たこともない言語の多言語絵文字予測において、セントラルトレーニングと同様の性能を発揮することが示された。
– また、フェデレーテッド学習のプライバシーと分散利益を追加し、SemEval絵文字データセットで他のテクニックよりも優れていることが示された。

要約(オリジナル)

Federated learning is a growing field in the machine learning community due to its decentralized and private design. Model training in federated learning is distributed over multiple clients giving access to lots of client data while maintaining privacy. Then, a server aggregates the training done on these multiple clients without access to their data, which could be emojis widely used in any social media service and instant messaging platforms to express users’ sentiments. This paper proposes federated learning-based multilingual emoji prediction in both clean and attack scenarios. Emoji prediction data have been crawled from both Twitter and SemEval emoji datasets. This data is used to train and evaluate different transformer model sizes including a sparsely activated transformer with either the assumption of clean data in all clients or poisoned data via label flipping attack in some clients. Experimental results on these models show that federated learning in either clean or attacked scenarios performs similarly to centralized training in multilingual emoji prediction on seen and unseen languages under different data sources and distributions. Our trained transformers perform better than other techniques on the SemEval emoji dataset in addition to the privacy as well as distributed benefits of federated learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI