Probing optimisation in physics-informed neural networks

要約

オプティマイザの選択が物理情報に基づいたニューラル ネットワーク (PINN) の精度に与える影響について、新しい比較が提示されます。
一部のオプティマイザーが優れている理由を理解するために、トレーニング軌跡の曲率を追跡し、低い計算コストでオンザフライで評価できる新しいアプローチが提案されています。
線形移流方程式はいくつかの移流速度について研究されており、オプティマイザーの選択がPINNモデルのパフォーマンスと精度に大きな影響を与えることを示しています。
さらに、曲率測定を使用して、収束エラーとオプティマイザーのローカル参照フレームの曲率との間に負の相関関係があることを発見しました。
この場合、局所曲率の値が大きいほど、より良い解が得られると結論付けられます。
その結果、極度に湾曲した領域に最小値が存在するため、PINN の最適化はより困難になります。

要約(オリジナル)

A novel comparison is presented of the effect of optimiser choice on the accuracy of physics-informed neural networks (PINNs). To give insight into why some optimisers are better, a new approach is proposed that tracks the training trajectory curvature and can be evaluated on the fly at a low computational cost. The linear advection equation is studied for several advective velocities, and we show that the optimiser choice substantially impacts PINNs model performance and accuracy. Furthermore, using the curvature measure, we found a negative correlation between the convergence error and the curvature in the optimiser local reference frame. It is concluded that, in this case, larger local curvature values result in better solutions. Consequently, optimisation of PINNs is made more difficult as minima are in highly curved regions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google