Geometric Generative Models based on Morphological Equivariant PDEs and GANs

要約

コンテンツと画像の生成は、テクスチャ、エッジ、その他の薄い画像構造などの特定の特徴を抽出することによって、ノイズの多い情報からデータを作成または生成することから構成されます。
ここでは生成モデルに興味があり、2 つの主な問題が取り上げられます。
第一に、マルチスケール レベルで固有の幾何学的特徴を考慮しながらの特定の特徴抽出の改善。
第二に、ネットワークの複雑さを軽減し、幾何学的解釈可能性を提供するためのネットワークの等分散性です。
次に、グループ畳み込みニューラル ネットワーク (G-CNN) の等変偏微分方程式 (PDE) に基づく幾何学的生成モデル、いわゆる PDE-G-CNN を提案します。これは、形態学演算子と敵対的生成ネットワーク (GAN) に基づいて構築されます。
等変形態偏微分方程式層は、リーマン多様体で定式化されたマルチスケールの膨張と浸食で構成され、群の対称性はリー群で定義されます。
リー群構造を利用して層内の等分散を適切に統合し、リーマン計量を使用してマルチスケール形態学的演算を解くことができます。
リー群の各点は多様体内の固有の点に関連付けられており、これは、誘導計量が同じ対称性を持つように、リー群の下でテンソル場不変量からリーマン多様体上の計量を導出するのに役立ちます。
提案された幾何学的形態学的 GAN (GM-GAN) は、PDE-G-CNN で提案された形態学的等変畳み込みを使用して、古典的な CNN に非線形性をもたらすことによって取得されます。
GM-GAN は MNIST データに基づいて評価され、GAN と比較されます。
予備的な結果は、GM-GAN モデルが古典的な GAN よりも優れていることを示しています。

要約(オリジナル)

Content and image generation consist in creating or generating data from noisy information by extracting specific features such as texture, edges, and other thin image structures. We are interested here in generative models, and two main problems are addressed. Firstly, the improvements of specific feature extraction while accounting at multiscale levels intrinsic geometric features; and secondly, the equivariance of the network to reduce its complexity and provide a geometric interpretability. To proceed, we propose a geometric generative model based on an equivariant partial differential equation (PDE) for group convolution neural networks (G-CNNs), so called PDE-G-CNNs, built on morphology operators and generative adversarial networks (GANs). Equivariant morphological PDE layers are composed of multiscale dilations and erosions formulated in Riemannian manifolds, while group symmetries are defined on a Lie group. We take advantage of the Lie group structure to properly integrate the equivariance in layers, and are able to use the Riemannian metric to solve the multiscale morphological operations. Each point of the Lie group is associated with a unique point in the manifold, which helps us derive a metric on the Riemannian manifold from a tensor field invariant under the Lie group so that the induced metric has the same symmetries. The proposed geometric morphological GAN (GM-GAN) is obtained by using the proposed morphological equivariant convolutions in PDE-G-CNNs to bring nonlinearity in classical CNNs. GM-GAN is evaluated on MNIST data and compared with GANs. Preliminary results show that GM-GAN model outperforms classical GAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google