The mathematics of adversarial attacks in AI — Why deep learning is unstable despite the existence of stable neural networks

要約

Deep Learning（DL）の前例のない成功により、分類の問題に関してはそれを挑戦しません。
ただし、現在のDL方法論が普遍的に不安定なニューラルネットワーク（NNS）を生成することは十分に確立されています。
不安定な問題は、いわゆる敵対的攻撃に関する膨大な文献で、膨大な研究努力を引き起こしましたが、問題に対する解決策はありませんでした。
私たちの論文では、次の数学的パラドックスを証明するため、問題の解決策がなかった理由に対処します。固定アーキテクチャの分類問題のためのニューラルネットワークのトレーニングに基づくトレーニング手順は、不正確または不安定なニューラルネットワークのいずれか（正確であれば）を生成します – 同じ分類の問題のための正確で安定した新ネットワークの両方の存在にもかかわらず。
重要なのは、安定した正確なニューラルネットワークが入力に応じて可変寸法を持たなければならないことです。特に、可変寸法は安定性に必要な条件です。
私たちの結果は、正確で安定したニューラルネットワークが存在するというパラドックスを指しますが、最新のアルゴリズムはそれらを計算しません。
これに疑問が生じます。望ましい特性を持つニューラルネットワークの存在が証明できる場合、それらを計算するアルゴリズムを見つけることもできますか？
証明可能な存在が計算可能性を意味する数学にはケースがありますが、これはニューラルネットワークの場合になりますか？
反対に、ニューラルネットワークが標準コスト関数を備えた標準的な最適化問題に対して標準的な最適化の問題に近似的なミニマイヤーとしてどのように存在するかを実証するため、それは真実ですが、ランダム化されたアルゴリズムは1/2より良い確率でそれらを計算することはできません。

要約(オリジナル)

The unprecedented success of deep learning (DL) makes it unchallenged when it comes to classification problems. However, it is well established that the current DL methodology produces universally unstable neural networks (NNs). The instability problem has caused an enormous research effort — with a vast literature on so-called adversarial attacks — yet there has been no solution to the problem. Our paper addresses why there has been no solution to the problem, as we prove the following mathematical paradox: any training procedure based on training neural networks for classification problems with a fixed architecture will yield neural networks that are either inaccurate or unstable (if accurate) — despite the provable existence of both accurate and stable neural networks for the same classification problems. The key is that the stable and accurate neural networks must have variable dimensions depending on the input, in particular, variable dimensions is a necessary condition for stability. Our result points towards the paradox that accurate and stable neural networks exist, however, modern algorithms do not compute them. This yields the question: if the existence of neural networks with desirable properties can be proven, can one also find algorithms that compute them? There are cases in mathematics where provable existence implies computability, but will this be the case for neural networks? The contrary is true, as we demonstrate how neural networks can provably exist as approximate minimisers to standard optimisation problems with standard cost functions, however, no randomised algorithm can compute them with probability better than 1/2.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google