Inverse Evolution Layers: Physics-informed Regularizers for Deep Neural Networks

要約

偏微分方程式 (PDE) を使用する従来の画像処理方法は、広範囲の画像関連タスクに対する貴重な理論的基盤とともに、多数の意味のある正則化機能を提供します。
このため、ニューラル ネットワークへの統合は有望な手段となります。
この論文では、PDE ベースの進化モデルの逆プロセスにヒントを得た新しい正則化アプローチを紹介します。
具体的には、出力が望ましくない特性を持つニューラル ネットワークにペナルティを与える不良特性増幅器として機能する逆進化層 (IEL) を提案します。
IEL を使用すると、特定の正則化の目的を達成し、ニューラル ネットワークの出力に PDE モデルの対応するプロパティを与えることができます。
熱拡散 IEL を使用したセマンティック セグメンテーション タスクに焦点を当てた私たちの実験では、ノイズの多いラベルの影響を軽減する効果を実証しています。
さらに、凹型出力の生成を防ぐために、ニューラル ネットワーク ベースのセグメンテーション モデルで凸型形状の正則化を強制するカーブモーション IEL を開発します。
理論分析により、特にラベルの問題を伴うトレーニングの処理において、効果的な正則化メカニズムとしての IEL の有効性が確認されています。

要約(オリジナル)

Traditional image processing methods employing partial differential equations (PDEs) offer a multitude of meaningful regularizers, along with valuable theoretical foundations for a wide range of image-related tasks. This makes their integration into neural networks a promising avenue. In this paper, we introduce a novel regularization approach inspired by the reverse process of PDE-based evolution models. Specifically, we propose inverse evolution layers (IELs), which serve as bad property amplifiers to penalize neural networks of which outputs have undesired characteristics. Using IELs, one can achieve specific regularization objectives and endow neural networks’ outputs with corresponding properties of the PDE models. Our experiments, focusing on semantic segmentation tasks using heat-diffusion IELs, demonstrate their effectiveness in mitigating noisy label effects. Additionally, we develop curve-motion IELs to enforce convex shape regularization in neural network-based segmentation models for preventing the generation of concave outputs. Theoretical analysis confirms the efficacy of IELs as an effective regularization mechanism, particularly in handling training with label issues.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google