Embedded Federated Feature Selection with Dynamic Sparse Training: Balancing Accuracy-Cost Tradeoffs

要約

Federated Learning（FL）により、さまざまなレベルの不均一性を持つ複数のリソース制約のエッジデバイスが、グローバルモデルを共同で訓練することができます。
ただし、容量が限られているデバイスは、ボトルネックを作成し、モデルの収束を遅くすることができます。
この問題に対処するための効果的なアプローチの1つは、効率的な機能選択方法を使用することです。これにより、通信コストと計算コストを最小限に抑え、苦労しているノードの影響を軽減することで、全体的なリソース需要が削減されます。
既存のフェデレーション機能選択（FFS）メソッドは、FLからの別のステップと見なされるか、サードパーティに依存しています。
これらのアプローチは、計算と通信のオーバーヘッドを増加させ、実際の高次元データセットに対して実用的ではありません。
これに対処するために、\ textIT {動的スパースフェデレート機能の選択}（DSFF）を提示します。これは、通信と計算の両方で効率的な最初の革新的な組み込みFFSです。
提案された方法では、モデルトレーニングで特徴の選択が同時に行われます。
トレーニング中、入力層ニューロン、それらの接続、および非表示層接続は動的に剪定され、再成長し、情報のない機能を排除します。
このプロセスにより、デバイスの計算効率が向上し、ネットワーク通信効率が向上し、グローバルモデルのパフォーマンスが向上します。
生物学、画像、音声、テキストなど、さまざまなドメインからさまざまな次元の9つの実際のデータセットでいくつかの実験が行われます。
現実的な非IIDデータ分布設定の下での結果は、他の最先端のFFSメソッドと比較して、より有益な機能を選択することにより、私たちのアプローチがより有益な機能を選択することにより、より良いトレードオフを達成することを示しています。

要約(オリジナル)

Federated Learning (FL) enables multiple resource-constrained edge devices with varying levels of heterogeneity to collaboratively train a global model. However, devices with limited capacity can create bottlenecks and slow down model convergence. One effective approach to addressing this issue is to use an efficient feature selection method, which reduces overall resource demands by minimizing communication and computation costs, thereby mitigating the impact of struggling nodes. Existing federated feature selection (FFS) methods are either considered as a separate step from FL or rely on a third party. These approaches increase computation and communication overhead, making them impractical for real-world high-dimensional datasets. To address this, we present \textit{Dynamic Sparse Federated Feature Selection} (DSFFS), the first innovative embedded FFS that is efficient in both communication and computation. In the proposed method, feature selection occurs simultaneously with model training. During training, input-layer neurons, their connections, and hidden-layer connections are dynamically pruned and regrown, eliminating uninformative features. This process enhances computational efficiency on devices, improves network communication efficiency, and boosts global model performance. Several experiments are conducted on nine real-world datasets of varying dimensionality from diverse domains, including biology, image, speech, and text. The results under a realistic non-iid data distribution setting show that our approach achieves a better trade-off between accuracy, computation, and communication costs by selecting more informative features compared to other state-of-the-art FFS methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google