Robust empirical risk minimization via Newton’s method

要約

経験的リスク最小化のためのニュートン法の新しい変形が研究されており、最適化アルゴリズムの反復ごとに、目的関数の勾配とヘッセ行列が、多変量データのロバスト平均推定に関する既存の文献から取得されたロバスト推定量に置き換えられます。
連続する反復が母集団レベルの最小化器の周りの小さなボールに収束することに関する一般定理を証明した後、データがフーバーのイプシロン汚染モデルおよび/またはヘビーテール分布から生成されたときに、一般化線形モデルにおける理論の結果が研究されます。
共役勾配法に基づいてロバストなニュートン方向を取得するためのアルゴリズムも提案されており、これは高次元設定により適している可能性があり、結果として得られるアルゴリズムの収束についての推測が提供されます。
ロバストな勾配降下法と比較して、提案されたアルゴリズムは、凸問題の二次アルゴリズム、つまりバックトラッキングによって適応的に選択できるステップサイズによる最適値の近傍での二次収束によってしばしば達成される、連続する反復のより速い収束速度を享受します。
ラインサーチ。

要約(オリジナル)

A new variant of Newton’s method for empirical risk minimization is studied, where at each iteration of the optimization algorithm, the gradient and Hessian of the objective function are replaced by robust estimators taken from existing literature on robust mean estimation for multivariate data. After proving a general theorem about the convergence of successive iterates to a small ball around the population-level minimizer, consequences of the theory in generalized linear models are studied when data are generated from Huber’s epsilon-contamination model and/or heavytailed distributions. An algorithm for obtaining robust Newton directions based on the conjugate gradient method is also proposed, which may be more appropriate for high-dimensional settings, and conjectures about the convergence of the resulting algorithm are offered. Compared to robust gradient descent, the proposed algorithm enjoys the faster rates of convergence for successive iterates often achieved by second-order algorithms for convex problems, i.e., quadratic convergence in a neighborhood of the optimum, with a stepsize that may be chosen adaptively via backtracking linesearch.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google