Revising the Structure of Recurrent Neural Networks to Eliminate Numerical Derivatives in Forming Physics Informed Loss Terms with Respect to Time

要約

リカレント ニューラル ネットワーク (RNN) を使用して非定常偏微分方程式 (PDE) を解くには、通常、物理学に基づいた損失関数を形成するために RNN の各ブロック間の数値導関数が必要です。
ただし、これにより、これらのモデルのトレーニング プロセスに数値導関数の複雑さが導入されます。
この研究では、従来の RNN の構造を変更して、時間間隔にわたる各ブロックの予測を可能にし、逆伝播アルゴリズムを使用して時間に対する出力の導関数を計算できるようにすることを提案します。
これを達成するには、これらのブロックの時間間隔をオーバーラップさせて、ブロック間の相互損失関数を定義します。
さらに、条件付き隠れ状態を使用することで、ブロックごとに固有のソリューションを実現できます。
忘却係数は、後続のブロックの予測に対する条件付き隠れ状態の影響を制御するために利用されます。
相互間隔 RNN (MI-RNN) と呼ばれるこの新しいモデルは、バーガーズ方程式、不規則領域における非定常熱伝導、グリーン渦問題という 3 つの異なるベンチマークを解くために適用されます。
私たちの結果は、MI-RNN が既存の RNN モデルと比較してより正確に正確な解を見つけることができることを示しています。
たとえば、2 番目の問題では、MI-RNN は数値導関数を使用した RNN モデルと比較して相対誤差が 1 桁小さくなりました。

要約(オリジナル)

Solving unsteady partial differential equations (PDEs) using recurrent neural networks (RNNs) typically requires numerical derivatives between each block of the RNN to form the physics informed loss function. However, this introduces the complexities of numerical derivatives into the training process of these models. In this study, we propose modifying the structure of the traditional RNN to enable the prediction of each block over a time interval, making it possible to calculate the derivative of the output with respect to time using the backpropagation algorithm. To achieve this, the time intervals of these blocks are overlapped, defining a mutual loss function between them. Additionally, the employment of conditional hidden states enables us to achieve a unique solution for each block. The forget factor is utilized to control the influence of the conditional hidden state on the prediction of the subsequent block. This new model, termed the Mutual Interval RNN (MI-RNN), is applied to solve three different benchmarks: the Burgers equation, unsteady heat conduction in an irregular domain, and the Green vortex problem. Our results demonstrate that MI-RNN can find the exact solution more accurately compared to existing RNN models. For instance, in the second problem, MI-RNN achieved one order of magnitude less relative error compared to the RNN model with numerical derivatives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google