Zeroth-Order Hard-Thresholding: Gradient Error vs. Expansivity

要約

$\ell_0$ 制約付き最適化は、スパース学習を実現するための基本的なアプローチであるため、機械学習、特に高次元の問題で広く普及しています。
ハードしきい値勾配降下法は、この問題を解決するための有力な手法です。
ただし、現実世界の多くの問題では、目的関数の一次勾配が利用できないか、計算にコストがかかる場合があり、ゼロ次 (ZO) 勾配が適切な代用となる可能性があります。
残念ながら、ZO 勾配がハードしきい値演算子と連携できるかどうかはまだ未解決の問題です。
このパズルを解決するために、この論文では、 $\ell_0$ 制約付きブラックボックス確率的最適化問題に焦点を当て、
新しいランダムサポートサンプリング。
標準的な仮定の下で SZOHT の収束解析を提供します。
重要なのは、ZO 推定量の偏差とハードしきい値演算子の拡張性の間の矛盾を明らかにし、ZO 勾配のランダムな方向の数の理論的な最小値を提供することです。
さらに、SZOHT のクエリの複雑さは、さまざまな設定の下で次元に依存しないか、または次元にほとんど依存しないことがわかりました。
最後に、ポートフォリオ最適化問題およびブラックボックス敵対的攻撃に対する私たちの方法の有用性を説明します。

要約(オリジナル)

$\ell_0$ constrained optimization is prevalent in machine learning, particularly for high-dimensional problems, because it is a fundamental approach to achieve sparse learning. Hard-thresholding gradient descent is a dominant technique to solve this problem. However, first-order gradients of the objective function may be either unavailable or expensive to calculate in a lot of real-world problems, where zeroth-order (ZO) gradients could be a good surrogate. Unfortunately, whether ZO gradients can work with the hard-thresholding operator is still an unsolved problem. To solve this puzzle, in this paper, we focus on the $\ell_0$ constrained black-box stochastic optimization problems, and propose a new stochastic zeroth-order gradient hard-thresholding (SZOHT) algorithm with a general ZO gradient estimator powered by a novel random support sampling. We provide the convergence analysis of SZOHT under standard assumptions. Importantly, we reveal a conflict between the deviation of ZO estimators and the expansivity of the hard-thresholding operator, and provide a theoretical minimal value of the number of random directions in ZO gradients. In addition, we find that the query complexity of SZOHT is independent or weakly dependent on the dimensionality under different settings. Finally, we illustrate the utility of our method on a portfolio optimization problem as well as black-box adversarial attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google