Analysis of (sub-)Riemannian PDE-G-CNNs

要約

グループ同変畳み込みニューラル ネットワーク (G-CNN) は、幾何学的深層学習にうまく適用されています。
通常、G-CNN は CNN よりも優れており、ネットワークでハードコーディングされているはずの対称性のトレーニングでネットワーク容量を浪費しません。
最近導入された PDE ベースの G-CNN (PDE-G-CNN) のフレームワークは、G-CNN を一般化します。
PDE-G-CNN には、1) ネットワークの複雑さを軽減する、2) 分類のパフォーマンスを向上させる、3) 幾何学的な解釈可能性を同時に提供する、という主要な利点があります。
それらの実装は、主にカーネルを使用した線形および形態学的畳み込みで構成されています。
この論文では、以前に提案された近似形態学的カーネルが常に正確なカーネルを正確に正確に近似するとは限らないことを示します。
より具体的には、リーマン計量の空間異方性に応じて、サブリーマン近似に頼らなければならないと主張します。
異方性に関係なく機能する新しい近似カーネルを提供することで、この問題を解決します。
近似カーネルのより優れた誤差推定値を備えた新しい定理を提供し、それらがすべて正確なものと同じ反射対称性を持つことを証明します。
2 つのデータセットで PDE-G-CNN フレームワーク内の複数の近似カーネルの有効性をテストし、新しい近似カーネルで改善を観察します。
PDE-G-CNN は、2 つのデータセットで G-CNN および CNN と同等またはそれ以上のパフォーマンスを持ちながら、ネットワークの複雑さを大幅に削減できることを報告します。
さらに、PDE-G-CNN には、G-CNN よりも幾何学的な解釈可能性が高いという利点があります。これは、形態学的カーネルが神経幾何学の関連フィールドに関連しているためです。

要約(オリジナル)

Group equivariant convolutional neural networks (G-CNNs) have been successfully applied in geometric deep learning. Typically, G-CNNs have the advantage over CNNs that they do not waste network capacity on training symmetries that should have been hard-coded in the network. The recently introduced framework of PDE-based G-CNNs (PDE-G-CNNs) generalises G-CNNs. PDE-G-CNNs have the core advantages that they simultaneously 1) reduce network complexity, 2) increase classification performance, and 3) provide geometric interpretability. Their implementations primarily consist of linear and morphological convolutions with kernels. In this paper we show that the previously suggested approximative morphological kernels do not always accurately approximate the exact kernels accurately. More specifically, depending on the spatial anisotropy of the Riemannian metric, we argue that one must resort to sub-Riemannian approximations. We solve this problem by providing a new approximative kernel that works regardless of the anisotropy. We provide new theorems with better error estimates of the approximative kernels, and prove that they all carry the same reflectional symmetries as the exact ones. We test the effectiveness of multiple approximative kernels within the PDE-G-CNN framework on two datasets, and observe an improvement with the new approximative kernels. We report that the PDE-G-CNNs again allow for a considerable reduction of network complexity while having comparable or better performance than G-CNNs and CNNs on the two datasets. Moreover, PDE-G-CNNs have the advantage of better geometric interpretability over G-CNNs, as the morphological kernels are related to association fields from neurogeometry.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google