AugOp: Inject Transformation into Neural Operator

要約

この論文では、トレーニング中に追加のグループ単位の変換を挿入することで通常の畳み込み演算子を強化し、推論中にそれを回復するためのシンプルで一般的なアプローチを提案します。
追加の変換は、各グループの通常の畳み込みとマージでき、推論中に通常の畳み込みのトポロジ構造を変更しないように慎重に選択されます。
通常の畳み込み演算子と比較して、私たちのアプローチ (AugConv) は、より大きな学習能力を導入してトレーニング中のモデルのパフォーマンスを向上させることができますが、モデルのデプロイメントのための余分な計算オーバーヘッドは増加しません。
ResNet に基づいて、AugConv を利用して AugResNet という名前の畳み込みニューラル ネットワークを構築します。
画像分類データセット Cifar-10 の結果は、AugResNet がモデルのパフォーマンスの点でベースラインを上回っていることを示しています。

要約(オリジナル)

In this paper, we propose a simple and general approach to augment regular convolution operator by injecting extra group-wise transformation during training and recover it during inference. Extra transformation is carefully selected to ensure it can be merged with regular convolution in each group and will not change the topological structure of regular convolution during inference. Compared with regular convolution operator, our approach (AugConv) can introduce larger learning capacity to improve model performance during training but will not increase extra computational overhead for model deployment. Based on ResNet, we utilize AugConv to build convolutional neural networks named AugResNet. Result on image classification dataset Cifar-10 shows that AugResNet outperforms its baseline in terms of model performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google