Convexity in ReLU Neural Networks: beyond ICNNs?

要約

凸関数とその勾配は、近位最適化から最適な輸送まで、数学的イメージングに重要な役割を果たします。
深い学習の成功により、多くの人が学習ベースの方法を使用するようになりました。この方法では、固定機能またはオペレーターが学習したニューラルネットワークに置き換えられます。
経験的優位性に関係なく、これらの方法の厳密な保証を確立するには、多くの場合、神経アーキテクチャ、特に凸性に構造的制約を課す必要があります。
そうする最も一般的な方法は、いわゆる入力凸ニューラルネットワーク（ICNNS）を使用することです。
ICNNSの表現力を探るために、我々は、関係のあるニューラルネットワークが凸状であるために必要かつ十分な条件を提供します。
このような特性は、重みと活性化の積に基づいており、パスリフティングフレームワークのアーキテクチャに適切に書き込みます。
特定のアプリケーションとして、1および2ハイデッドレイヤーニューラルネットワークの特性を深く研究します。1hidden層レールネットワークによって実装されたすべての凸関数は、同じアーキテクチャを持つICNNによって表現できることを示します。
ただし、このプロパティは、より多くのレイヤーで保持されなくなりました。
最後に、多数のアフィン領域を備えたリリールニューラルネットワークの凸性の正確なチェックを可能にする数値手順を提供します。

要約(オリジナル)

Convex functions and their gradients play a critical role in mathematical imaging, from proximal optimization to Optimal Transport. The successes of deep learning has led many to use learning-based methods, where fixed functions or operators are replaced by learned neural networks. Regardless of their empirical superiority, establishing rigorous guarantees for these methods often requires to impose structural constraints on neural architectures, in particular convexity. The most popular way to do so is to use so-called Input Convex Neural Networks (ICNNs). In order to explore the expressivity of ICNNs, we provide necessary and sufficient conditions for a ReLU neural network to be convex. Such characterizations are based on product of weights and activations, and write nicely for any architecture in the path-lifting framework. As particular applications, we study our characterizations in depth for 1 and 2-hidden-layer neural networks: we show that every convex function implemented by a 1-hidden-layer ReLU network can be also expressed by an ICNN with the same architecture; however this property no longer holds with more layers. Finally, we provide a numerical procedure that allows an exact check of convexity for ReLU neural networks with a large number of affine regions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google