TPFL: Tsetlin-Personalized Federated Learning with Confidence-Based Clustering

要約

機械学習 (ML) の世界では、新しいモデルとユーザー データの処理方法に関して急速な変化が見られます。
これまでに行われた研究の大部分は、深層学習 (DL) ベースのアプローチに焦点を当てています。
しかし、Tsetlin Machine (TM) アルゴリズムなどの新しいアルゴリズムの出現により、特定のドメインまたはアプリケーションに独自の利点を提供する可能性のある代替アプローチを探索することへの関心が高まっています。
これらのドメインの 1 つは Federated Learning (FL) であり、ユーザーのプライバシーが最も重要です。
その目新しさから、フロリダ州では、パーソナライズされた条件下でユーザーのプライバシーを維持しながらモデルの精度を高めるパーソナライゼーション技術の導入が急増しています。
この研究では、TPFL: Tsetlin-Personalized Federated Learning と呼ばれる新しいアプローチを提案します。このアプローチでは、特定のクラスに対する信頼度に基づいてモデルがクラスターにグループ化されます。
このように、クラスタリングには 2 つの重要な利点があります。
まず、クライアントは自信のあるものだけを共有するため、トレーニング中に特定のクラスのデータが十分ではなかった可能性があるクライアント間での不正な重みの集計が排除されます。
この現象は、データが非独立かつ同一分散 (非 IID) である場合によく発生します。
第 2 に、特定のクラスに対する重みのみを共有することにより、通信コストが大幅に削減され、精度と通信コストの両方の点で TPLF が効率的になります。
TPFL の結果は、3 つの異なるデータセットで最も高い精度を示しました。
つまり、MNIST、ファッションMNIST、フェムニストです。

要約(オリジナル)

The world of Machine Learning (ML) has witnessed rapid changes in terms of new models and ways to process users data. The majority of work that has been done is focused on Deep Learning (DL) based approaches. However, with the emergence of new algorithms such as the Tsetlin Machine (TM) algorithm, there is growing interest in exploring alternative approaches that may offer unique advantages in certain domains or applications. One of these domains is Federated Learning (FL), in which users privacy is of utmost importance. Due to its novelty, FL has seen a surge in the incorporation of personalization techniques to enhance model accuracy while maintaining user privacy under personalized conditions. In this work, we propose a novel approach dubbed TPFL: Tsetlin-Personalized Federated Learning, in which models are grouped into clusters based on their confidence towards a specific class. In this way, clustering can benefit from two key advantages. Firstly, clients share only what they are confident about, resulting in the elimination of wrongful weight aggregation among clients whose data for a specific class may have not been enough during the training. This phenomenon is prevalent when the data are non-Independent and Identically Distributed (non-IID). Secondly, by sharing only weights towards a specific class, communication cost is substantially reduced, making TPLF efficient in terms of both accuracy and communication cost. The results of TPFL demonstrated the highest accuracy on three different datasets; namely MNIST, FashionMNIST and FEMNIST.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google