Learning from Integral Losses in Physics Informed Neural Networks

要約

この研究は、偏積分微分方程式の下で物理学に基づいたネットワークをトレーニングする問題の解決策を提案します。
これらの方程式では、トレーニング用の単一の残差を構築するために、無限または多数のニューラル評価が必要です。
結果として、正確な評価は非実用的である可能性があり、これらの積分を不偏推定値に置き換える単純な近似が偏った損失関数と解をもたらすことを示します。
このバイアスを克服するために、決定論的サンプリング アプローチ、ダブル サンプリング トリック、および遅延ターゲット法という 3 種類の潜在的な解決策を調査します。
ベンチマークのために 3 つのクラスの偏微分方程式を考慮します。
1 つは特異電荷と最大 10 次元の弱い解を含むポアソン問題を定義し、もう 1 つは電磁場とマクスウェル方程式の弱い解を含む、そして 3 つ目はスモルコウスキー凝固問題を定義します。
私たちの数値結果は、実際に前述のバイアスが存在することを確認し、また、私たちが提案する遅延ターゲットアプローチが、大きなサンプルサイズの積分で推定されたものと同等の品質を持つ正確な解を導き出せることを示しています。
私たちの実装はオープンソースであり、https://github.com/ehsansaleh/btspinn から入手できます。

要約(オリジナル)

This work proposes a solution for the problem of training physics-informed networks under partial integro-differential equations. These equations require an infinite or a large number of neural evaluations to construct a single residual for training. As a result, accurate evaluation may be impractical, and we show that naive approximations at replacing these integrals with unbiased estimates lead to biased loss functions and solutions. To overcome this bias, we investigate three types of potential solutions: the deterministic sampling approaches, the double-sampling trick, and the delayed target method. We consider three classes of PDEs for benchmarking; one defining Poisson problems with singular charges and weak solutions of up to 10 dimensions, another involving weak solutions on electro-magnetic fields and a Maxwell equation, and a third one defining a Smoluchowski coagulation problem. Our numerical results confirm the existence of the aforementioned bias in practice and also show that our proposed delayed target approach can lead to accurate solutions with comparable quality to ones estimated with a large sample size integral. Our implementation is open-source and available at https://github.com/ehsansaleh/btspinn.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google