Analysis of (sub-)Riemannian PDE-G-CNNs

要約

群等変量畳み込みニューラルネットワーク（G-CNN）は、幾何学的深層学習への応用に成功している。一般に、G-CNNはCNNと比較して、ネットワークにハードコーディングされるべき対称性を学習するためにネットワークの容量を浪費しないという利点がある。最近導入されたPDEベースG-CNN（PDE-G-CNN）というフレームワークは、G-CNNを一般化するものです。PDE-G-CNNは、1)ネットワークの複雑さを軽減し、2)分類性能を向上させ、3)幾何学的なネットワークの解釈可能性を提供する、という中核的な利点を同時に持っている。PDE-G-CNNの実装は、カーネルを用いた線形畳み込みとモルフォロジカル畳み込みのみである。 本論文では、以前に提案された近似的な形態学的カーネルが、必ずしも正確なカーネルに近似していないことを示す。より具体的には、リーマンメトリックの空間異方性に依存して、サブリーマン近似に頼らざるを得ないと主張する。我々は、異方性に関係なく機能する新しい近似カーネルを提供することで、この問題を解決する。近似カーネルの誤差をより良く見積もる新しい定理を提供し、それらがすべて厳密なものと同じ反射対称性を持っていることを証明する。 PDE-G-CNNのフレームワークで複数の近似カーネルの有効性を2つのデータセットでテストし、新しい近似カーネルによる改善を観察する。PDE-G-CNNは、2つのデータセットにおいて、G-CNNやCNNと同等以上の性能を持ちながら、ネットワークの複雑性を大幅に削減することが可能であることが報告された。さらに、PDE-G-CNNは、形態カーネルがニューロジオメトリからの連想場に関連しているため、G-CNNよりも幾何学的解釈性が高いという利点もある。

要約(オリジナル)

Group equivariant convolutional neural networks (G-CNNs) have been successfully applied in geometric deep-learning. Typically, G-CNNs have the advantage over CNNs that they do not waste network capacity on training symmetries that should have been hard-coded in the network. The recently introduced framework of PDE-based G-CNNs (PDE-G-CNNs) generalize G-CNNs. PDE-G-CNNs have the core advantages that they simultaneously 1) reduce network complexity, 2) increase classification performance, 3) provide geometric network interpretability. Their implementations solely consist of linear and morphological convolutions with kernels. In this paper we show that the previously suggested approximative morphological kernels do not always approximate the exact kernels accurately. More specifically, depending on the spatial anisotropy of the Riemannian metric, we argue that one must resort to sub-Riemannian approximations. We solve this problem by providing a new approximative kernel that works regardless of the anisotropy. We provide new theorems with better error estimates of the approximative kernels, and prove that they all carry the same reflectional symmetries as the exact ones. We test the effectiveness of multiple approximative kernels within the PDE-G-CNN framework on two datasets, and observe an improvement with the new approximative kernel. We report that the PDE-G-CNNs again allow for a considerable reduction of network complexity while having a comparable or better performance than G-CNNs and CNNs on the two datasets. Moreover, PDE-G-CNNs have the advantage of better geometric interpretability over G-CNNs, as the morphological kernels are related to association fields from neurogeometry.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL