Variance-based loss function for improved regularization

要約

深層学習では、二乗誤差や絶対誤差など、選択した誤差メトリックの平均が損失関数としてよく使用されます。
このアプローチは平均誤差の低減には効果的ですが、多くの場合、局所的な外れ値に対処できず、急な勾配や不連続性のある領域で大きな不正確さが生じます。
この問題は、このような局所的なエラーが予想され、全体的なソリューションに影響を与える物理情報に基づくニューラル ネットワーク (PINN) で特に顕著です。
この制限を克服するために、選択した誤差メトリックの平均と標準偏差を組み合わせた新しい損失関数を提案します。
この結合された損失関数を最小限に抑えることで、この方法はより均一なエラー分布を保証し、局所的な高エラー領域の影響を軽減します。
提案された損失関数は、バーガー方程式、2D 線形弾性固体力学、2D 定常ナビエ ストークスの 3 つの問題でテストされ、同じ反復回数と標準的な平均ベースの損失と比較して、解の品質が向上し、最大誤差が小さいことが実証されました。
重みの初期化。

要約(オリジナル)

In deep learning, the mean of a chosen error metric, such as squared or absolute error, is commonly used as a loss function. While effective in reducing the average error, this approach often fails to address localized outliers, leading to significant inaccuracies in regions with sharp gradients or discontinuities. This issue is particularly evident in physics-informed neural networks (PINNs), where such localized errors are expected and affect the overall solution. To overcome this limitation, we propose a novel loss function that combines the mean and the standard deviation of the chosen error metric. By minimizing this combined loss function, the method ensures a more uniform error distribution and reduces the impact of localized high-error regions. The proposed loss function was tested on three problems: Burger’s equation, 2D linear elastic solid mechanics, and 2D steady Navier-Stokes, demonstrating improved solution quality and lower maximum errors compared to the standard mean-based loss, using the same number of iterations and weight initialization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google