Deep residual learning with product units

要約

製品ユニットを残留ブロックに統合して、深い畳み込みネットワークの表現力とパラメーター効率を改善する深い製品ユニットの残留ニューラルネットワーク（PURE）を提案します。
標準の合計ニューロンとは異なり、製品ユニットは乗算的特徴の相互作用を有効にし、複雑なパターンのより強力な表現を提供する可能性があります。
Pureは、各残差ブロックの2番目の層に従来の畳み込み層を2D製品ユニットに置き換え、構造情報を維持するために非線形活性化関数を排除します。
3つのベンチマークデータセットでPureを検証します。
Galaxy10デカールでは、Pure34は84.89％の最高のテスト精度を達成し、はるかに深いResnet152を超え、ほぼ5倍速く収束し、ポアソンノイズに強い堅牢性を示します。
Imagenetでは、純粋なアーキテクチャは同様の深さで標準のResnetモデルを上回り、Pure34は80.27％の上位1精度と95.78％の上位5精度を達成し、より深いResNetバリエーション（ResNet50、ResNet101）を超え、パラメーターと計算リソースを大幅に少なくします。
CIFAR-10では、Pureはさまざまな深さにわたって一貫してresnetバリアントを上回り、Pure272はResNet1001に匹敵するが、モデルサイズの半分未満で95.01％のテスト精度に達します。
これらの結果は、純粋が精度、効率、堅牢性の間の好ましいバランスを達成することを示しています。
従来の残留ネットワークと比較して、Pureは、収束が速く、パラメーターが少ない競争力のある分類パフォーマンスを達成するだけでなく、ノイズに対する堅牢性を高めます。
多様なデータセット全体のその効果は、コンピュータービジョンにおけるスケーラブルで信頼できる深い学習のための製品ユニットベースのアーキテクチャの可能性を強調しています。

要約(オリジナル)

We propose a deep product-unit residual neural network (PURe) that integrates product units into residual blocks to improve the expressiveness and parameter efficiency of deep convolutional networks. Unlike standard summation neurons, product units enable multiplicative feature interactions, potentially offering a more powerful representation of complex patterns. PURe replaces conventional convolutional layers with 2D product units in the second layer of each residual block, eliminating nonlinear activation functions to preserve structural information. We validate PURe on three benchmark datasets. On Galaxy10 DECaLS, PURe34 achieves the highest test accuracy of 84.89%, surpassing the much deeper ResNet152, while converging nearly five times faster and demonstrating strong robustness to Poisson noise. On ImageNet, PURe architectures outperform standard ResNet models at similar depths, with PURe34 achieving a top-1 accuracy of 80.27% and top-5 accuracy of 95.78%, surpassing deeper ResNet variants (ResNet50, ResNet101) while utilizing significantly fewer parameters and computational resources. On CIFAR-10, PURe consistently outperforms ResNet variants across varying depths, with PURe272 reaching 95.01% test accuracy, comparable to ResNet1001 but at less than half the model size. These results demonstrate that PURe achieves a favorable balance between accuracy, efficiency, and robustness. Compared to traditional residual networks, PURe not only achieves competitive classification performance with faster convergence and fewer parameters, but also demonstrates greater robustness to noise. Its effectiveness across diverse datasets highlights the potential of product-unit-based architectures for scalable and reliable deep learning in computer vision.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google