Structured and Balanced Multi-Component and Multi-Layer Neural Networks

要約

本研究では、複雑な特徴を持つ関数を、自由度と計算コストの両面から正確かつ効率的に近似するために、バランスの取れた多成分・多層ニューラルネットワーク（MMNN）構造を提案する。主なアイデアは多成分アプローチから着想を得ており、各成分は単層ネットワークで効果的に近似でき、ターゲット関数の複雑さを捉えるために多層分解戦略と組み合わされる。MMNNは、バランスの取れた多成分構造を導入することで、完全連結ニューラルネットワーク（FCNN）や多層パーセプトロン（MLP）を単純に修正したものと見なすことができるが、FCNNやMLPと比較して、学習パラメータの大幅な削減、より効率的な学習プロセス、精度の向上を達成している。広範な数値実験により、高振動関数の近似におけるMMNNの有効性と、局所的な特徴に自動的に適応する能力が実証されている。

要約(オリジナル)

In this work, we propose a balanced multi-component and multi-layer neural network (MMNN) structure to accurately and efficiently approximate functions with complex features, in terms of both degrees of freedom and computational cost. The main idea is inspired by a multi-component approach, in which each component can be effectively approximated by a single-layer network, combined with a multi-layer decomposition strategy to capture the complexity of the target function. Although MMNNs can be viewed as a simple modification of fully connected neural networks (FCNNs) or multi-layer perceptrons (MLPs) by introducing balanced multi-component structures, they achieve a significant reduction in training parameters, a much more efficient training process, and improved accuracy compared to FCNNs or MLPs. Extensive numerical experiments demonstrate the effectiveness of MMNNs in approximating highly oscillatory functions and their ability to automatically adapt to localized features.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL