Residual Multi-Fidelity Neural Network Computing

要約

この研究では、多重忠実度情報を使用してニューラル ネットワーク代理モデルを構築するという一般的な問題を検討します。
ReLU ニューラル ネットワークの誤差複雑さの推定に基づいて、安価な低忠実度モデルと高価な高忠実度モデルの間の相関を、おそらく非線形残差関数として定式化します。
この関数は、1) モデルの共有入力空間と低忠実度モデル出力、および 2) 2 つのモデルの出力間の不一致の間のマッピングを定義します。
計算フレームワークは、2 つのニューラル ネットワークが連携して動作するようにトレーニングすることによって進められます。
最初のネットワークは、高忠実度データと低忠実度データの小さなセットの残差関数を学習します。
トレーニングが完了すると、このネットワークは追加の高忠実度合成データを生成するために使用され、これは 2 番目のネットワークのトレーニングに使用されます。
トレーニングされた 2 番目のネットワークは、高忠実度の対象量の代理として機能します。
提案されたフレームワークの能力を実証するために 4 つの数値例を示し、出力予測が小さな許容範囲内で正確であることが望ましい場合に、計算コストの大幅な節約が達成される可能性があることを示します。

要約(オリジナル)

In this work, we consider the general problem of constructing a neural network surrogate model using multi-fidelity information. Motivated by error-complexity estimates for ReLU neural networks, we formulate the correlation between an inexpensive low-fidelity model and an expensive high-fidelity model as a possibly non-linear residual function. This function defines a mapping between 1) the shared input space of the models along with the low-fidelity model output, and 2) the discrepancy between the outputs of the two models. The computational framework proceeds by training two neural networks to work in concert. The first network learns the residual function on a small set of high- and low-fidelity data. Once trained, this network is used to generate additional synthetic high-fidelity data, which is used in the training of the second network. The trained second network then acts as our surrogate for the high-fidelity quantity of interest. We present four numerical examples to demonstrate the power of the proposed framework, showing that significant savings in computational cost may be achieved when the output predictions are desired to be accurate within small tolerances.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google