Enhancing ResNet Image Classification Performance by using Parameterized Hypercomplex Multiplication

要約

最近、多くの深層ネットワークがハイパーコンプレックスおよび関連する計算をアーキテクチャに導入しています。
分類用の畳み込みネットワークに関しては、これらの拡張機能がフロントエンドの畳み込み演算に適用され、精度を高めたり、精度を維持しながらパラメーター要件を削減したりします。
これらの拡張機能は畳み込みフロントエンドに適用されていますが、密に接続されたバックエンドに適用された場合にハイパーコンプレックス計算を追加するとパフォーマンスが向上するかどうかは調査されていません。
このホワイト ペーパーでは、ResNet アーキテクチャを研究し、パラメーター化されたハイパーコンプレックス乗算 (PHM) を残差、四元数、ベクトルマップ畳み込みニューラル ネットワークのバックエンドに組み込んで効果を評価します。
PHM は、小規模で低解像度の CIFAR 10/100 や大規模な高解像度の ImageNet および ASL を含むいくつかの画像データセットで分類精度のパフォーマンスを向上させ、ハイパーコンプレックス ネットワークで最先端の精度を達成できることを示しています。

要約(オリジナル)

Recently, many deep networks have introduced hypercomplex and related calculations into their architectures. In regard to convolutional networks for classification, these enhancements have been applied to the convolution operations in the frontend to enhance accuracy and/or reduce the parameter requirements while maintaining accuracy. Although these enhancements have been applied to the convolutional frontend, it has not been studied whether adding hypercomplex calculations improves performance when applied to the densely connected backend. This paper studies ResNet architectures and incorporates parameterized hypercomplex multiplication (PHM) into the backend of residual, quaternion, and vectormap convolutional neural networks to assess the effect. We show that PHM does improve classification accuracy performance on several image datasets, including small, low-resolution CIFAR 10/100 and large high-resolution ImageNet and ASL, and can achieve state-of-the-art accuracy for hypercomplex networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google