AdaResNet: Enhancing Residual Networks with Dynamic Weight Adjustment for Improved Feature Integration

要約

非常に深いニューラル ネットワークでは、バックプロパゲーション中に勾配が非常に小さくなる可能性があるため、初期層のトレーニングが困難になります。
ResNet (Residual Network) は、スキップ接続を介して勾配がネットワークを直接流れることを可能にし、より深いネットワークのトレーニングを容易にすることで、この問題に対処します。
ただし、これらのスキップ接続では、異なるシナリオに適応することなく、入力 ipd が変換されたデータ tfd に直接追加され、ipd と tfd が同等に扱われます。
本稿では、学習データに基づいて ipd と tfd の比率を自動的に調整する AdaResNet (Auto-Adapting Residual Network) を提案します。
この比率を表す変数、weight}_{tfd}^{ipd を導入します。
この変数はバックプロパゲーション中に動的に調整されるため、固定されたままではなくトレーニング データに適応できるようになります。
実験結果は、AdaResNet が従来の ResNet と比較して 50% 以上の最大精度向上を達成することを示しています。

要約(オリジナル)

In very deep neural networks, gradients can become extremely small during backpropagation, making it challenging to train the early layers. ResNet (Residual Network) addresses this issue by enabling gradients to flow directly through the network via skip connections, facilitating the training of much deeper networks. However, in these skip connections, the input ipd is directly added to the transformed data tfd, treating ipd and tfd equally, without adapting to different scenarios. In this paper, we propose AdaResNet (Auto-Adapting Residual Network), which automatically adjusts the ratio between ipd and tfd based on the training data. We introduce a variable, weight}_{tfd}^{ipd, to represent this ratio. This variable is dynamically adjusted during backpropagation, allowing it to adapt to the training data rather than remaining fixed. Experimental results demonstrate that AdaResNet achieves a maximum accuracy improvement of over 50\% compared to traditional ResNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google