Efficient Distributed Learning over Decentralized Networks with Convoluted Support Vector Machine

要約

このペーパーでは、分散型ネットワークを介して高次元データを効率的に分類する問題に対処します。
ペナルティ化されたサポートベクターマシン（SVM）は、高次元分類タスクに広く使用されています。
ただし、目的関数の二重の非滑らかさは、効率的な分散学習方法を開発する上で重要な課題をもたらします。
多くの既存の手順は、遅い、サブリンの収束率に悩まされています。
この制限を克服するために、非滑らかなヒンジ損失関数の畳み込みベースのスムージング手法を検討します。
結果として生じる損失関数は凸状と滑らかなままです。
次に、分散ネットワークを介してペナルティ化されたSVMを解くための乗数（ADMM）アルゴリズムの効率的な一般化された交互方向方法を開発します。
私たちの理論的貢献は2つあります。
まず、一般化されたADMMアルゴリズムが、単純な実装で証明可能な線形収束を達成することを確立します。
第二に、十分な数のADMM反復の後、最終的なスパース推定器はほぼ最適な統計的収束を達成し、基礎となるパラメーターの真のサポートを正確に回復します。
シミュレートされたデータセットと実際のデータセットの両方での広範な数値実験は、理論的な調査結果を検証します。

要約(オリジナル)

This paper addresses the problem of efficiently classifying high-dimensional data over decentralized networks. Penalized support vector machines (SVMs) are widely used for high-dimensional classification tasks. However, the double nonsmoothness of the objective function poses significant challenges in developing efficient decentralized learning methods. Many existing procedures suffer from slow, sublinear convergence rates. To overcome this limitation, we consider a convolution-based smoothing technique for the nonsmooth hinge loss function. The resulting loss function remains convex and smooth. We then develop an efficient generalized alternating direction method of multipliers (ADMM) algorithm for solving penalized SVM over decentralized networks. Our theoretical contributions are twofold. First, we establish that our generalized ADMM algorithm achieves provable linear convergence with a simple implementation. Second, after a sufficient number of ADMM iterations, the final sparse estimator attains near-optimal statistical convergence and accurately recovers the true support of the underlying parameters. Extensive numerical experiments on both simulated and real-world datasets validate our theoretical findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google