$\mathcal{C}^k$-continuous Spline Approximation with TensorFlow Gradient Descent Optimizers

要約

この作業では、産業最適化問題に対する機械学習 (ML) オプティマイザーの「すぐに使える」アプリケーションを紹介します。
カム近似設定で展開できる $\mathcal{C}^k$-continuos 関数のフィッティング用の区分的多項式モデル (スプライン) を導入します。
次に、機械学習フレームワーク TensorFlow によって提供される勾配降下最適化コンテキストを使用して、近似品質と $\mathcal{C}^k$-continuity に関してモデル パラメーターを最適化し、利用可能なオプティマイザーを評価します。
私たちの実験では、TensorFlow 勾配テープを使用して問題の解決が実現可能であり、利用可能な TensorFlow オプティマイザーの中で AMSGrad と SGD が最良の結果を示していることが示されています。
さらに、SGD 収束を改善するための新しい正則化アプローチを導入します。
最適化後に残る不連続性は小さいことが実験で示されていますが、ローカル スプライン セグメント内の影響を受ける導関数にのみ影響を与える提示されたアルゴリズムを使用して、これらのエラーを排除できます。

要約(オリジナル)

In this work we present an ‘out-of-the-box’ application of Machine Learning (ML) optimizers for an industrial optimization problem. We introduce a piecewise polynomial model (spline) for fitting of $\mathcal{C}^k$-continuos functions, which can be deployed in a cam approximation setting. We then use the gradient descent optimization context provided by the machine learning framework TensorFlow to optimize the model parameters with respect to approximation quality and $\mathcal{C}^k$-continuity and evaluate available optimizers. Our experiments show that the problem solution is feasible using TensorFlow gradient tapes and that AMSGrad and SGD show the best results among available TensorFlow optimizers. Furthermore, we introduce a novel regularization approach to improve SGD convergence. Although experiments show that remaining discontinuities after optimization are small, we can eliminate these errors using a presented algorithm which has impact only on affected derivatives in the local spline segment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google