A Theoretical View of Linear Backpropagation and Its Convergence

要約

バックプロパゲーション (BP) は、ディープ ニューラル ネットワーク (DNN) での勾配の計算に広く使用されています。
BP は、確率的勾配降下法 (SGD) またはそのバリアントとともによく適用され、DNN トレーニングや敵対的な攻撃/防御を含むさまざまな機械学習タスクにおける事実上の選択肢とみなされます。
最近、Guo らによって、ブラックボックス攻撃を実行するためのより転送可能な敵対的な例を生成するために、LinBP という名前の BP の線形バリアントが導入されました。
これはブラックボックス攻撃に効果的であることが経験的に示されていますが、そのような手法の理論的研究と収束分析は不足しています。
この論文は、敵対的攻撃やモデル トレーニングなど、ニューラル ネットワークが関与する学習タスクにおける LinBP の理論的分析を提供することで、Guo らの論文を補完し、ある程度拡張したものです。
やや驚くべきことに、BP と比較して、LinBP は同じハイパーパラメーター設定でこれらのタスクの収束を高速化できることを示します。
理論上の結果を広範な実験で確認します。

要約(オリジナル)

Backpropagation (BP) is widely used for calculating gradients in deep neural networks (DNNs). Applied often along with stochastic gradient descent (SGD) or its variants, BP is considered as a de-facto choice in a variety of machine learning tasks including DNN training and adversarial attack/defense. Recently, a linear variant of BP named LinBP was introduced for generating more transferable adversarial examples for performing black-box attacks, by Guo et al. Although it has been shown empirically effective in black-box attacks, theoretical studies and convergence analyses of such a method is lacking. This paper serves as a complement and somewhat an extension to Guo et al.’s paper, by providing theoretical analyses on LinBP in neural-network-involved learning tasks, including adversarial attack and model training. We demonstrate that, somewhat surprisingly, LinBP can lead to faster convergence in these tasks in the same hyper-parameter settings, compared to BP. We confirm our theoretical results with extensive experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google