PDE-CNNs: Axiomatic Derivations and Applications

要約

PDE ベースのグループ畳み込みニューラル ネットワーク (PDE-G-CNN) は、G-CNN の従来のコンポーネントの代わりに進化型 PDE のソルバーを使用します。
PDE-G-CNN は、パラメーターの減少、固有の等分散性、精度の向上、データ効率など、いくつかの利点を同時に提供できます。
この記事では、特徴マップが全体的に 2 次元であるユークリッド等変 PDE-G-CNN に焦点を当てます。
このフレームワークのバリアントを PDE-CNN と呼びます。
機械学習の観点から、実際に望ましい公理をいくつかリストし、そこから PDE-CNN でどの PDE を使用すべきかを導き出します。これが私たちの主な貢献です。
PDE を介した幾何学学習への私たちのアプローチは、半場値信号を導入することによって一般化したスケール空間理論の公理に触発されています。
私たちの理論は PDE-CNN で使用できる新しい PDE を明らかにし、これらが PDE-CNN の精度にどのような影響を与えるかを実験的に調べます。
また、小規模ネットワークの場合、PDE-CNN は CNN と比較してパラメーターが少なく、精度が向上し、データ効率が向上することも確認しています。

要約(オリジナル)

PDE-based Group Convolutional Neural Networks (PDE-G-CNNs) use solvers of evolution PDEs as substitutes for the conventional components in G-CNNs. PDE-G-CNNs can offer several benefits simultaneously: fewer parameters, inherent equivariance, better accuracy, and data efficiency. In this article we focus on Euclidean equivariant PDE-G-CNNs where the feature maps are two-dimensional throughout. We call this variant of the framework a PDE-CNN. From a machine learning perspective, we list several practically desirable axioms and derive from these which PDEs should be used in a PDE-CNN, this being our main contribution. Our approach to geometric learning via PDEs is inspired by the axioms of scale-space theory, which we generalize by introducing semifield-valued signals. Our theory reveals new PDEs that can be used in PDE-CNNs and we experimentally examine what impact these have on the accuracy of PDE-CNNs. We also confirm for small networks that PDE-CNNs offer fewer parameters, increased accuracy, and better data efficiency when compared to CNNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google