Efficient Optimization Algorithms for Linear Adversarial Training

要約

敵対的トレーニングを使用すると、摂動に対して堅牢なモデルを学習できます。
線形モデルの場合、凸最適化問題として定式化できます。
深層学習のコンテキストで提案された方法と比較して、最適化構造を活用することで、収束速度が大幅に向上します。
それでも、汎用の凸ソルバーの使用は、大規模な問題に対して非効率となる可能性があります。
ここでは、大規模な回帰および分類の問題をより扱いやすくする、線形モデルの敵対的トレーニング用にカスタマイズされた最適化アルゴリズムを提案します。
回帰問題については、反復リッジ回帰に基づくソルバーのファミリーを提案し、分類については、投影勾配降下法に基づくソルバーのファミリーを提案します。
この方法は、元の問題の拡張変数再定式化に基づいています。
それらの効率を数値例で説明します。

要約(オリジナル)

Adversarial training can be used to learn models that are robust against perturbations. For linear models, it can be formulated as a convex optimization problem. Compared to methods proposed in the context of deep learning, leveraging the optimization structure allows significantly faster convergence rates. Still, the use of generic convex solvers can be inefficient for large-scale problems. Here, we propose tailored optimization algorithms for the adversarial training of linear models, which render large-scale regression and classification problems more tractable. For regression problems, we propose a family of solvers based on iterative ridge regression and, for classification, a family of solvers based on projected gradient descent. The methods are based on extended variable reformulations of the original problem. We illustrate their efficiency in numerical examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google