Decentralized Smoothing ADMM for Quantile Regression with Non-Convex Sparse Penalties

要約

急速に進化するモノのインターネット（IoT）エコシステムにおいて、センサーから生成される分散データを扱うためには、効果的なデータ解析技術が不可欠である。アクティブ係数と非アクティブ係数を効果的に区別できないサブ勾配アプローチなどの既存の手法の限界に対処するため、本稿では、ペナルティ付き分位点回帰のための分散平滑化交互方向乗数法（DSAD）を紹介する。我々の手法は、最小凹ペナルティ(MCP)や滑らかにクリップされた絶対偏差(SCAD)のような非凸の疎なペナルティを活用し、有意な予測変数の同定と保持を改善する。DSADは、平滑化ADMMフレームワーク内に全変動ノルムを組み込み、分散ノード間のコンセンサスを達成し、異種データソース間で均一なモデル性能を保証する。このアプローチは、分散型設定における非凸ペナルティに関連する従来の収束の課題を克服する。DSADの有効性を検証するために、理論的証明と広範なシミュレーション結果を提示し、従来の手法と比較して、信頼性の高い収束を達成し、推定精度を向上させる点で優れていることを実証する。

要約(オリジナル)

In the rapidly evolving internet-of-things (IoT) ecosystem, effective data analysis techniques are crucial for handling distributed data generated by sensors. Addressing the limitations of existing methods, such as the sub-gradient approach, which fails to distinguish between active and non-active coefficients effectively, this paper introduces the decentralized smoothing alternating direction method of multipliers (DSAD) for penalized quantile regression. Our method leverages non-convex sparse penalties like the minimax concave penalty (MCP) and smoothly clipped absolute deviation (SCAD), improving the identification and retention of significant predictors. DSAD incorporates a total variation norm within a smoothing ADMM framework, achieving consensus among distributed nodes and ensuring uniform model performance across disparate data sources. This approach overcomes traditional convergence challenges associated with non-convex penalties in decentralized settings. We present theoretical proofs and extensive simulation results to validate the effectiveness of the DSAD, demonstrating its superiority in achieving reliable convergence and enhancing estimation accuracy compared with prior methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL