Transgressing the boundaries: towards a rigorous understanding of deep learning and its (non-)robustness

要約

さまざまなアプリケーション分野における機械学習の最近の進歩は、主にディープ ラーニング (DL) 手法とアーキテクチャの台頭によるものと考えられます。
自動運転車、画像処理、音声認識などの背後にある重要なテクノロジーであるにもかかわらず、DL および関連する解釈可能性と (敵対的な) 堅牢性の問題の理論的理解が不足しているという悪名高い問題が依然として残っています。
たとえば、他の形式の非線形回帰手法や統計学習と比較した DL の詳細を理解することは、数学的な観点からすると興味深いですが、同時に実際には非常に重要です。ニューラル ネットワークを単なるブラック ボックスとして扱うと、
場合によっては十分ですが、多くの用途では防水性能の保証と、何が問題になるのか、なぜ問題が起こるのかについての深い理解が必要になります。
DL は、複雑な関数を近似する方法として数学的に十分に確立されているにもかかわらず、大部分は依然として、エンジニアやコンピューター科学者の手にしっかりと委ねられている現代の錬金術に近いと言っても過言ではありません。
それにもかかわらず、アプリケーションでの成功を説明できる DL の特定の特性には、体系的な数学的アプローチが必要であることは明らかです。
この研究では、DL の堅牢性の問題を検討し、特に近似理論から統計学習理論への懸念と試みの橋渡しをします。
さらに、不確実性の定量化と厳密な説明可能性の手段としてのベイジアンディープラーニングをレビューします。

要約(オリジナル)

The recent advances in machine learning in various fields of applications can be largely attributed to the rise of deep learning (DL) methods and architectures. Despite being a key technology behind autonomous cars, image processing, speech recognition, etc., a notorious problem remains the lack of theoretical understanding of DL and related interpretability and (adversarial) robustness issues. Understanding the specifics of DL, as compared to, say, other forms of nonlinear regression methods or statistical learning, is interesting from a mathematical perspective, but at the same time it is of crucial importance in practice: treating neural networks as mere black boxes might be sufficient in certain cases, but many applications require waterproof performance guarantees and a deeper understanding of what could go wrong and why it could go wrong. It is probably fair to say that, despite being mathematically well founded as a method to approximate complicated functions, DL is mostly still more like modern alchemy that is firmly in the hands of engineers and computer scientists. Nevertheless, it is evident that certain specifics of DL that could explain its success in applications demands systematic mathematical approaches. In this work, we review robustness issues of DL and particularly bridge concerns and attempts from approximation theory to statistical learning theory. Further, we review Bayesian Deep Learning as a means for uncertainty quantification and rigorous explainability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google