When Deep Learning Meets Polyhedral Theory: A Survey

要約

過去 10 年間で、コンピューター ビジョンや自然言語処理などのタスクにおけるディープ ニューラル ネットワークの驚くべき精度のおかげで、ディープ ラーニングは予測モデリングの手法として広く普及しました。
一方、ニューラル ネットワークの構造は、Rectified Linear Unit (ReLU) などの区分定数関数および区分線形関数に基づく単純な表現に戻り、これがニューラル ネットワークで最も一般的に使用されるタイプの活性化関数になりました。
これにより、典型的な完全接続フィードフォワード ニューラル ネットワーク$\unicode{x2014}$ などの特定の種類のネットワーク構造 $\unicode{x2014}$ が、多面体理論による分析や線形計画法 (LP) などの方法論の適用に適したものになりました。
混合整数線形計画法 (MILP) はさまざまな目的に使用できます。
このペーパーでは、このペースの速い作業領域から出てくる主なトピックを概説します。これらは、ニューラル ネットワークをより詳細に理解すること、およびニューラル ネットワークのサイズをトレーニング、検証、削減するための線形最適化手法の適用に新たな視点をもたらします。
ネットワーク。

要約(オリジナル)

In the past decade, deep learning became the prevalent methodology for predictive modeling thanks to the remarkable accuracy of deep neural networks in tasks such as computer vision and natural language processing. Meanwhile, the structure of neural networks converged back to simpler representations based on piecewise constant and piecewise linear functions such as the Rectified Linear Unit (ReLU), which became the most commonly used type of activation function in neural networks. That made certain types of network structure $\unicode{x2014}$such as the typical fully-connected feedforward neural network$\unicode{x2014}$ amenable to analysis through polyhedral theory and to the application of methodologies such as Linear Programming (LP) and Mixed-Integer Linear Programming (MILP) for a variety of purposes. In this paper, we survey the main topics emerging from this fast-paced area of work, which bring a fresh perspective to understanding neural networks in more detail as well as to applying linear optimization techniques to train, verify, and reduce the size of such networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google