Constrained Empirical Risk Minimization: Theory and Practice

要約

ディープ ニューラル ネットワーク (DNN) は、大規模なクラスの関数を効果的に近似できるため、広く使用されています。
ただし、この柔軟性により、DNN に対する制約の厳密な適用が未解決の問題になります。
ここでは、穏やかな仮定の下で、DNN などのパラメーター化された関数セットに制約を正確に適用できるフレームワークを紹介します。
損失に追加の項を介して「ソフト」な制約を課す代わりに、DNN パラメータ (のサブセット) を、トレーニング手順全体を通して制約が正確に満たされる部分多様体に制限します。
幾何学的深層学習で使用される同変ネットワークの範囲外の制約に焦点を当てています。
フレームワークの主要な例として、畳み込みニューラル ネットワーク (CNN) のフィルターをウェーブレットに制限し、これらのウェーブレット ネットワークを医療領域の輪郭予測のタスクに適用します。

要約(オリジナル)

Deep Neural Networks (DNNs) are widely used for their ability to effectively approximate large classes of functions. This flexibility, however, makes the strict enforcement of constraints on DNNs an open problem. Here we present a framework that, under mild assumptions, allows the exact enforcement of constraints on parameterized sets of functions such as DNNs. Instead of imposing ‘soft” constraints via additional terms in the loss, we restrict (a subset of) the DNN parameters to a submanifold on which the constraints are satisfied exactly throughout the entire training procedure. We focus on constraints that are outside the scope of equivariant networks used in Geometric Deep Learning. As a major example of the framework, we restrict filters of a Convolutional Neural Network (CNN) to be wavelets, and apply these wavelet networks to the task of contour prediction in the medical domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google