Equivariant Neural Tangent Kernels

要約

等変ニューラル ネットワークは、近年、ニューラル ネットワークのアーキテクチャ選択をガイドする重要な技術となっており、医用画像解析から量子化学に至るまで多くの分野で応用されています。
特に、グループ畳み込みは、正規表現に関して最も一般的な線形等変層として、多くのアプリケーションに大きな影響を与えてきました。
等変アーキテクチャは広く研究されていますが、等変ニューラル ネットワークのトレーニング ダイナミクスについてはほとんど知られていません。
同時に、ニューラル タンジェント カーネル (NTK) が、広範なニューラル ネットワークのトレーニング ダイナミクスを分析的に理解するための強力なツールとして登場しました。
この研究では、グループ畳み込みニューラル ネットワークの NTK に明示的な式を与えることで、これら 2 つのフィールドを初めて組み合わせます。
数値実験では、医療画像の分類タスクにおいて、非等変 NTK よりも等変 NTK の方が優れたパフォーマンスを示します。

要約(オリジナル)

Equivariant neural networks have in recent years become an important technique for guiding architecture selection for neural networks with many applications in domains ranging from medical image analysis to quantum chemistry. In particular, as the most general linear equivariant layers with respect to the regular representation, group convolutions have been highly impactful in numerous applications. Although equivariant architectures have been studied extensively, much less is known about the training dynamics of equivariant neural networks. Concurrently, neural tangent kernels (NTKs) have emerged as a powerful tool to analytically understand the training dynamics of wide neural networks. In this work, we combine these two fields for the first time by giving explicit expressions for NTKs of group convolutional neural networks. In numerical experiments, we demonstrate superior performance for equivariant NTKs over non-equivariant NTKs on a classification task for medical images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google