Improving Axial-Attention Network Classification via Cross-Channel Weight Sharing

要約

近年、ハイパーコンプレックスにインスパイアされたニューラル ネットワーク (HCNN) は、チャネルベースの重みの共有を可能にし、色を単一のエンティティとして扱い、レイヤー内の表現の一貫性を向上させる能力により、ディープ ラーニング アーキテクチャを改善するために使用されています。
ここで説明する作業は、画像分類への影響を評価するために、Axial Attention ネットワーク内の既存のレイヤーを表現的に一貫したバリアントに置き換える効果を研究しています。
ネットワークの幹、ボトルネック層、および完全に接続されたバックエンドを、表現的に一貫性のあるバリアントに置き換えることで実験します。
これらのさまざまな変更により、ImageNet300k 分類データセットの精度パフォーマンスが向上した新しいアーキテクチャが生まれました。
比較のためのベースライン ネットワークは、元の実数値 ResNet、元の四元数数値 ResNet、および Axial Attention ResNet でした。
ネットワークのどの部分が変更されたかに関係なく改善が観察されたため、この手法は、大規模なクラスのネットワークの分類精度を改善するのに一般的に役立つ可能性があります。

要約(オリジナル)

In recent years, hypercomplex-inspired neural networks (HCNNs) have been used to improve deep learning architectures due to their ability to enable channel-based weight sharing, treat colors as a single entity, and improve representational coherence within the layers. The work described herein studies the effect of replacing existing layers in an Axial Attention network with their representationally coherent variants to assess the effect on image classification. We experiment with the stem of the network, the bottleneck layers, and the fully connected backend, by replacing them with representationally coherent variants. These various modifications lead to novel architectures which all yield improved accuracy performance on the ImageNet300k classification dataset. Our baseline networks for comparison were the original real-valued ResNet, the original quaternion-valued ResNet, and the Axial Attention ResNet. Since improvement was observed regardless of which part of the network was modified, there is a promise that this technique may be generally useful in improving classification accuracy for a large class of networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google