Federated Smoothing Proximal Gradient for Quantile Regression with Non-Convex Penalties

要約

モノのインターネット (IoT) の分散センサーは、膨大な量のまばらなデータを生成します。
この高次元データを分析し、関連する予測因子を特定することは、特にデータの完全性、通信帯域幅、プライバシーなどの理由で、データが収集されたデバイスに保存されることが望ましい場合に、大きな課題を引き起こします。
このペーパーでは、これらの課題に対処するための統合分位点回帰アルゴリズムを紹介します。
分位回帰は、平均回帰モデルよりも変数間の関係についてより包括的なビューを提供します。
しかし、従来のアプローチは、非凸のスパースペナルティと損失関数の固有の非滑らかさを扱う際に困難に直面します。
この目的のために、平滑化メカニズムを近位勾配フレームワークと統合し、それによって精度と計算速度の両方を向上させるフェデレーテッド スムージング近位勾配 (FSPG) アルゴリズムを提案します。
この統合は、それぞれがローカル データ サンプルを保持するデバイスのネットワーク上の最適化を適切に処理するため、フェデレーテッド ラーニング シナリオで特に効果的です。
FSPG アルゴリズムは、目的関数の値を維持または削減することにより、各反復での安定した進行と信頼性の高い収束を保証します。
ミニマックス凹ペナルティ (MCP) やスムーズ クリップ絶対偏差 (SCAD) などの非凸ペナルティを活用することで、提案された方法は疎モデル内の主要な予測子を特定して保存できます。
包括的なシミュレーションにより、提案されたアルゴリズムの堅牢な理論的基礎が検証され、推定精度の向上と信頼性の高い収束が実証されます。

要約(オリジナル)

Distributed sensors in the internet-of-things (IoT) generate vast amounts of sparse data. Analyzing this high-dimensional data and identifying relevant predictors pose substantial challenges, especially when data is preferred to remain on the device where it was collected for reasons such as data integrity, communication bandwidth, and privacy. This paper introduces a federated quantile regression algorithm to address these challenges. Quantile regression provides a more comprehensive view of the relationship between variables than mean regression models. However, traditional approaches face difficulties when dealing with nonconvex sparse penalties and the inherent non-smoothness of the loss function. For this purpose, we propose a federated smoothing proximal gradient (FSPG) algorithm that integrates a smoothing mechanism with the proximal gradient framework, thereby enhancing both precision and computational speed. This integration adeptly handles optimization over a network of devices, each holding local data samples, making it particularly effective in federated learning scenarios. The FSPG algorithm ensures steady progress and reliable convergence in each iteration by maintaining or reducing the value of the objective function. By leveraging nonconvex penalties, such as the minimax concave penalty (MCP) and smoothly clipped absolute deviation (SCAD), the proposed method can identify and preserve key predictors within sparse models. Comprehensive simulations validate the robust theoretical foundations of the proposed algorithm and demonstrate improved estimation precision and reliable convergence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google