要約
2016年にHE et al。\によってすでに指摘されている畳み込みやプールなどの一般的なビルディングブロックなどの再ネットとマルチグリッド(MG)メソッドの構造類似。
MGメソッドは、特に2つの主要な概念に依存しています。スムージングと残留制限 /粗大化。
これらの類推を活用して、HEとXUはMGNETフレームワークを開発し、MGスキームを再ネットの設計に統合しました。
この作業では、MG理論の多項式スモーターに触発された新しいニューラルネットワークビルディングブロックを紹介します。
MGの観点からの多項式ブロックは、MGNETフレームワークをポリMGNETに自然に拡張し、同時にMGNETの重み数を減らします。
多項式ブロックの包括的な研究を提示し、初期係数、多項式程度、活性化関数の配置、およびバッチ正規化の選択を分析します。
我々の結果は、実際のおよび想像上の多項式根に基づいた(二次)多項式構成ブロックを構築することが、精度の点でポリMGNETの能力を高めることを示しています。
さらに、私たちのアプローチは、MGNETの特定の構成と比較して、ResNetと比較して、モデルの精度と重量の数のトレードオフの改善を達成します。
要約(オリジナル)
The structural analogies of ResNets and Multigrid (MG) methods such as common building blocks like convolutions and poolings where already pointed out by He et al.\ in 2016. Multigrid methods are used in the context of scientific computing for solving large sparse linear systems arising from partial differential equations. MG methods particularly rely on two main concepts: smoothing and residual restriction / coarsening. Exploiting these analogies, He and Xu developed the MgNet framework, which integrates MG schemes into the design of ResNets. In this work, we introduce a novel neural network building block inspired by polynomial smoothers from MG theory. Our polynomial block from an MG perspective naturally extends the MgNet framework to Poly-Mgnet and at the same time reduces the number of weights in MgNet. We present a comprehensive study of our polynomial block, analyzing the choice of initial coefficients, the polynomial degree, the placement of activation functions, as well as of batch normalizations. Our results demonstrate that constructing (quadratic) polynomial building blocks based on real and imaginary polynomial roots enhances Poly-MgNet’s capacity in terms of accuracy. Furthermore, our approach achieves an improved trade-off of model accuracy and number of weights compared to ResNet as well as compared to specific configurations of MgNet.
arxiv情報
著者 | Antonia van Betteray,Matthias Rottmann,Karsten Kahl |
発行日 | 2025-03-13 17:42:48+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google