Inverse Evolution Layers: Physics-informed Regularizers for Deep Neural Networks

要約

この論文では、新しいタイプの正則化を通じて偏微分方程式 (PDE) ベースの進化モデルをニューラル ネットワークに統合する新しいアプローチを提案します。
具体的には、進化方程式に基づいた逆進化層 (IEL) を提案します。
これらの層は、特定の正則化の目的を達成し、ニューラル ネットワークの出力に進化モデルの対応する特性を与えることができます。
さらに、IEL は構築と実装が簡単で、さまざまな物理進化やニューラル ネットワークに合わせて簡単に設計できます。
さらに、これらの層の設計プロセスにより、ニューラル ネットワークに直観的かつ数学的な解釈可能性が提供され、アプローチの透明性と説明可能性が向上します。
私たちのアプローチの有効性、効率性、シンプルさを実証するために、熱拡散モデルに基づいた平滑性特性をセマンティック セグメンテーション モデルに与える例を示します。
この目標を達成するために、熱拡散 IEL を設計し、それを適用して、ノイズの多いラベルによるセマンティック セグメンテーションの課題に対処します。
実験結果は、熱拡散 IEL がノイズの多いラベルによって引き起こされるオーバーフィッティングの問題を効果的に軽減できることを示しています。

要約(オリジナル)

This paper proposes a novel approach to integrating partial differential equation (PDE)-based evolution models into neural networks through a new type of regularization. Specifically, we propose inverse evolution layers (IELs) based on evolution equations. These layers can achieve specific regularization objectives and endow neural networks’ outputs with corresponding properties of the evolution models. Moreover, IELs are straightforward to construct and implement, and can be easily designed for various physical evolutions and neural networks. Additionally, the design process for these layers can provide neural networks with intuitive and mathematical interpretability, thus enhancing the transparency and explainability of the approach. To demonstrate the effectiveness, efficiency, and simplicity of our approach, we present an example of endowing semantic segmentation models with the smoothness property based on the heat diffusion model. To achieve this goal, we design heat-diffusion IELs and apply them to address the challenge of semantic segmentation with noisy labels. The experimental results demonstrate that the heat-diffusion IELs can effectively mitigate the overfitting problem caused by noisy labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google