Piecewise Polynomial Regression of Tame Functions via Integer Programming

要約

我々は、非平滑・非凸関数の一種である、いわゆるテーム関数を区分的多項式関数で近似することを考える。テイム関数は、一般的な活性度を持つディープニューラルネットワークの学習や、混合整数プログラムの値関数、低分子の波動関数など、様々なアプリケーションに登場する。我々は、任意の完全次元立方体上で、与えられた分割数を持つ区分的多項式関数によるテイム関数の近似の質を束縛する。また、区分的多項式回帰の混合整数計画法による初の定式化を行う。これらを組み合わせることで、飼いならされた関数を推定することができる。我々は有望な計算結果を示す。

要約(オリジナル)

We consider approximating so-called tame functions, a class of nonsmooth, nonconvex functions, with piecewise polynomial functions. Tame functions appear in a wide range of applications: functions encountered in the training of deep neural networks with all common activations, value functions of mixed-integer programs, or wave functions of small molecules. We bound the quality of approximation of a tame function by a piecewise polynomial function with a given number of segments on any full-dimensional cube. We also present the first ever mixed-integer programming formulation of piecewise polynomial regression. Together, these can be used to estimate tame functions. We demonstrate promising computational results.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL