Analysis of Total Variation Minimization for Clustered Federated Learning

要約

フェデレーテッド ラーニング アプリケーションにおける主な課題は、ローカル データセットの統計的不均一性です。
クラスター化フェデレーテッド ラーニングは、ほぼ同種のローカル データセットのクラスターを特定することで、この課題に対処します。
クラスター化フェデレーテッド ラーニングに対する最近のアプローチの 1 つは、一般化総変動最小化 (GTVMin) です。
このアプローチには、ドメインの専門知識によって、またはグラフ学習技術を介してデータ駆動型の方法で取得できる類似度グラフが必要です。
広く適用可能なクラスタリングの仮定の下で、GTVMin 解とそのクラスターごとの平均との間の偏差の上限を導き出します。
この境界は、フェデレーテッド ラーニング環境内の統計的不均一性に対処する際の GTVMin の有効性と堅牢性についての貴重な洞察を提供します。

要約(オリジナル)

A key challenge in federated learning applications is the statistical heterogeneity of local datasets. Clustered federated learning addresses this challenge by identifying clusters of local datasets that are approximately homogeneous. One recent approach to clustered federated learning is generalized total variation minimization (GTVMin). This approach requires a similarity graph which can be obtained by domain expertise or in a data-driven fashion via graph learning techniques. Under a widely applicable clustering assumption, we derive an upper bound the deviation between GTVMin solutions and their cluster-wise averages. This bound provides valuable insights into the effectiveness and robustness of GTVMin in addressing statistical heterogeneity within federated learning environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google