Deep Axial Hypercomplex Networks

要約

過去 10 年間、ディープ ハイパーコンプレックスにインスパイアされたネットワークは、入力チャネル間で重みを共有できるようにすることで、画像分類の特徴抽出を強化してきました。
最近の研究では、高い計算コストを消費するハイパーコンプレックスに着想を得たネットワークを使用することで、表現能力を向上させることが可能になっています。
この論文では、クォータニオン 2D 畳み込みモジュールを 2 つの連続する vectormap 1D 畳み込みモジュールに因数分解することで、このコストを削減しています。
また、5D パラメーター化された超複素数乗算ベースの全結合層を使用します。
両方を組み込むことで、提案されたハイパーコンプレックス ネットワークが得られます。これは、画像分類用のディープ アキシャル ハイパーコンプレックス ネットワーク (DAN) を構築するために組み立てることができる新しいアーキテクチャです。
CIFAR ベンチマーク、SVHN、および Tiny ImageNet データセットで実験を行い、より少ないトレーニング可能なパラメーターと FLOPS でより良いパフォーマンスを達成します。
提案されたモデルは、CIFAR および SVHN データセットで約 2% 高いパフォーマンスを達成し、ImageNet-Tiny データセットで 3% 以上のパフォーマンスを達成し、実数値の ResNets よりも 6 分の 1 のパラメーターしか必要としません。
また、ハイパーコンプレックス空間での CIFAR ベンチマークで最先端のパフォーマンスを示しています。

要約(オリジナル)

Over the past decade, deep hypercomplex-inspired networks have enhanced feature extraction for image classification by enabling weight sharing across input channels. Recent works make it possible to improve representational capabilities by using hypercomplex-inspired networks which consume high computational costs. This paper reduces this cost by factorizing a quaternion 2D convolutional module into two consecutive vectormap 1D convolutional modules. Also, we use 5D parameterized hypercomplex multiplication based fully connected layers. Incorporating both yields our proposed hypercomplex network, a novel architecture that can be assembled to construct deep axial-hypercomplex networks (DANs) for image classifications. We conduct experiments on CIFAR benchmarks, SVHN, and Tiny ImageNet datasets and achieve better performance with fewer trainable parameters and FLOPS. Our proposed model achieves almost 2% higher performance for CIFAR and SVHN datasets, and more than 3% for the ImageNet-Tiny dataset and takes six times fewer parameters than the real-valued ResNets. Also, it shows state-of-the-art performance on CIFAR benchmarks in hypercomplex space.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google