Convex Formulations for Training Two-Layer ReLU Neural Networks

要約

非凸の NP 困難な最適化問題を解くことは、ニューラル ネットワークを含む機械学習モデルをトレーニングするために重要です。
ただし、非凸性は、内部の仕組みが不明瞭なブラックボックスの機械学習モデルにつながることがよくあります。
凸定式化はニューラル ネットワークの堅牢性を検証するために使用されてきましたが、ニューラル ネットワークのトレーニングへの応用はまだあまり検討されていません。
この課題に応えて、無限幅の 2 層 ReLU ネットワークの学習問題を、有限次元 (リフト) 空間における凸型の完全に正のプログラムとして再定式化します。
凸面にもかかわらず、完全な正の制約により、この問題を解決することは依然として NP 困難です。
この課題を克服するために、多項式時間で解決できる半定値緩和を導入します。
次に、この緩和の厳しさを実験的に評価し、さまざまな分類タスクにわたるテスト精度における競合パフォーマンスを実証します。

要約(オリジナル)

Solving non-convex, NP-hard optimization problems is crucial for training machine learning models, including neural networks. However, non-convexity often leads to black-box machine learning models with unclear inner workings. While convex formulations have been used for verifying neural network robustness, their application to training neural networks remains less explored. In response to this challenge, we reformulate the problem of training infinite-width two-layer ReLU networks as a convex completely positive program in a finite-dimensional (lifted) space. Despite the convexity, solving this problem remains NP-hard due to the complete positivity constraint. To overcome this challenge, we introduce a semidefinite relaxation that can be solved in polynomial time. We then experimentally evaluate the tightness of this relaxation, demonstrating its competitive performance in test accuracy across a range of classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google