Computability of Classification and Deep Learning: From Theoretical Limits to Practical Feasibility through Quantization

要約

過去 10 年間における深層学習の揺るぎない成功により、さまざまな応用分野で深層学習手法が普及するようになりました。
ただし、深層学習のマイナス面、最も顕著なのは信頼性の欠如であり、より厳格なパフォーマンス保証を必要とする安全性が重要なアプリケーションや責任の高いアプリケーションには適合しない可能性があります。
最近、深層学習アプリケーションのいくつかの例では、計算能力の理論上の制限があり、現実世界のコンピューターで使用した場合のパフォーマンス保証の実現可能性が損なわれていることが示されています。
私たちは、深層学習フレームワークにおける計算可能性を 2 つの観点から研究することによって、その発見を拡張します。分類問題のコンテキストにおけるアプリケーションの観点と、ニューラル ネットワークのトレーニングというコンテキストにおける一般的な制限の観点からです。
特に、分類問題のアルゴリズムによる解決可能性に対する制限があり、一般的な設定での計算の失敗のアルゴリズムによる検出も実行不可能になることを示します。
その後、根底にある問題が正常に動作している場合でも、ディープ ニューラル ネットワークのトレーニングにおけるアルゴリズムの限界を証明しました。
最後に、分類とディープ ネットワーク トレーニングの量子化バージョンでは、計算能力の制限が発生しないか、ある程度は克服できることを示す肯定的な観察で終わります。

要約(オリジナル)

The unwavering success of deep learning in the past decade led to the increasing prevalence of deep learning methods in various application fields. However, the downsides of deep learning, most prominently its lack of trustworthiness, may not be compatible with safety-critical or high-responsibility applications requiring stricter performance guarantees. Recently, several instances of deep learning applications have been shown to be subject to theoretical limitations of computability, undermining the feasibility of performance guarantees when employed on real-world computers. We extend the findings by studying computability in the deep learning framework from two perspectives: From an application viewpoint in the context of classification problems and a general limitation viewpoint in the context of training neural networks. In particular, we show restrictions on the algorithmic solvability of classification problems that also render the algorithmic detection of failure in computations in a general setting infeasible. Subsequently, we prove algorithmic limitations in training deep neural networks even in cases where the underlying problem is well-behaved. Finally, we end with a positive observation, showing that in quantized versions of classification and deep network training, computability restrictions do not arise or can be overcome to a certain degree.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google