On the accuracy of interpolation based on single-layer artificial neural networks with a focus on defeating the Runge phenomenon

要約

本論文では、構造がニューロンの数と種類によって決定されるように、フィードフォワード アーキテクチャを備えた 1 隠れ層 ANN (浅いネットワークまたは 2 層ネットワークとも呼ばれます) を検討します。
トレーニングと呼ばれる、関数を定義するパラメーターの決定は、近似問題の解決を通じて、つまり特定のノードのセットを通じて補間を課すことによって行われます。
線形補間問題を引き起こす Extreme Learning Machine (ELM) と呼ばれる手順を使用してパラメーターがトレーニングされるケースを紹介します。
このような仮説では、ANN 補間関数の存在が保証されます。
次に、指定されたサンプリング補間ノードが等間隔ノード、チェビシェフ ノード、およびランダムに選択されたノードである場合の、その外部の補間の精度に焦点が当てられます。
この研究は、よく知られた釣鐘型のルンゲの例によって動機づけられており、グローバル補間多項式の構築は、適切に選択されたノード、たとえばチェビシェフのノードでトレーニングされた場合にのみ正確であることが明らかです。
補間ノードの数を増やしたときの動作を評価するために、ネットワーク内のニューロンの数を増やし、それを補間多項式と比較します。
ルンゲ関数や、さまざまな規則性を持つ他のよく知られた例を使用してテストします。
予想どおり、グローバル多項式による近似の精度は、チェビシェフ ノードを考慮した場合にのみ向上します。
代わりに、ANN 補間関数の誤差は常に減衰し、ほとんどの場合、トレーニングに使用されるノードのセットにもかかわらず、収束はチェビシェフ ノードの多項式の場合に観察されるものに従うことが観察されます。

要約(オリジナル)

In the present paper, we consider one-hidden layer ANNs with a feedforward architecture, also referred to as shallow or two-layer networks, so that the structure is determined by the number and types of neurons. The determination of the parameters that define the function, called training, is done via the resolution of the approximation problem, so by imposing the interpolation through a set of specific nodes. We present the case where the parameters are trained using a procedure that is referred to as Extreme Learning Machine (ELM) that leads to a linear interpolation problem. In such hypotheses, the existence of an ANN interpolating function is guaranteed. The focus is then on the accuracy of the interpolation outside of the given sampling interpolation nodes when they are the equispaced, the Chebychev, and the randomly selected ones. The study is motivated by the well-known bell-shaped Runge example, which makes it clear that the construction of a global interpolating polynomial is accurate only if trained on suitably chosen nodes, ad example the Chebychev ones. In order to evaluate the behavior when growing the number of interpolation nodes, we raise the number of neurons in our network and compare it with the interpolating polynomial. We test using Runge’s function and other well-known examples with different regularities. As expected, the accuracy of the approximation with a global polynomial increases only if the Chebychev nodes are considered. Instead, the error for the ANN interpolating function always decays and in most cases we observe that the convergence follows what is observed in the polynomial case on Chebychev nodes, despite the set of nodes used for training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google