Padding Module: Learning the Padding in Deep Neural Networks

要約

過去数十年間、ネットワーク アーキテクチャ、初期化、アクティブ化など、ニューラル ネットワークのパフォーマンスを向上させるために多くの研究が行われてきました。
ただし、深層学習における学習可能なパディング手法の重要性と効果の調査は、比較的オープンなままです。
このギャップを軽減するために、このホワイト ペーパーでは、ディープ ラーニング モデルに配置できる新しいトレーニング可能なパディング モジュールを提案します。
パディング モジュールは、モデルの損失関数全体を必要としたり影響を与えたりすることなく、それ自体を最適化できます。
自身をトレーニングするために、パディング モジュールは、監視のために入力データの基礎となる構造を活用することにより、入力からグラウンド トゥルースと予測子を構築します。
その結果、パディング モジュールは、入力画像または特徴マップの境界にピクセルをパディングすることを自動的に学習できます。
パディング コンテンツは、入力データの現実的な拡張であり、同時にディープ ラーニング モデルのダウンストリーム タスクを容易にします。
実験では、提案されたパディング モジュールが最先端の競合他社やベースライン メソッドよりも優れていることが示されています。
たとえば、パディング モジュールは、VGG16 および ResNet50 でテストした場合、ゼロ パディングよりも 1.23% および 0.44% 高い分類精度を持っています。

要約(オリジナル)

During the last decades, many studies have been dedicated to improving the performance of neural networks, for example, the network architectures, initialization, and activation. However, investigating the importance and effects of learnable padding methods in deep learning remains relatively open. To mitigate the gap, this paper proposes a novel trainable Padding Module that can be placed in a deep learning model. The Padding Module can optimize itself without requiring or influencing the model’s entire loss function. To train itself, the Padding Module constructs a ground truth and a predictor from the inputs by leveraging the underlying structure in the input data for supervision. As a result, the Padding Module can learn automatically to pad pixels to the border of its input images or feature maps. The padding contents are realistic extensions to its input data and simultaneously facilitate the deep learning model’s downstream task. Experiments have shown that the proposed Padding Module outperforms the state-of-the-art competitors and the baseline methods. For example, the Padding Module has 1.23% and 0.44% more classification accuracy than the zero padding when tested on the VGG16 and ResNet50.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google