FAN: Fourier Analysis Networks

要約

ニューラルネットワーク、特にMLPやTransformerに代表されるニューラルネットワークが達成した目覚ましい成功にもかかわらず、周期性のモデリングと推論において潜在的な欠陥、すなわち周期性の根本原理を純粋に理解するのではなく、周期性データを記憶する傾向があることを明らかにする。しかし、周期性は様々な推論や汎化において重要な特性であり、観察における反復的なパターンを通して、自然システムや人工システム全体の予測可能性を支えている。本論文では、フーリエ解析に基づく新しいネットワークアーキテクチャであるFANを提案し、周期的現象を効率的にモデル化し推論する能力を強化する。フーリエ級数を導入することで、周期性がニューラルネットワークの構造と計算過程に自然に統合され、周期的パターンのより正確な表現と予測が実現される。多層パーセプトロン（MLP）の有望な代替品として、FANはより少ないパラメータとFLOP数で、様々なモデルにおいてMLPをシームレスに置き換えることができる。広範な実験を通して、周期関数のモデリングと推論におけるFANの有効性、および記号式表現、時系列予測、言語モデリングを含む実世界の様々なタスクにおけるFANの優位性と汎用性を実証する。

要約(オリジナル)

Despite the remarkable success achieved by neural networks, particularly those represented by MLP and Transformer, we reveal that they exhibit potential flaws in the modeling and reasoning of periodicity, i.e., they tend to memorize the periodic data rather than genuinely understanding the underlying principles of periodicity. However, periodicity is a crucial trait in various forms of reasoning and generalization, underpinning predictability across natural and engineered systems through recurring patterns in observations. In this paper, we propose FAN, a novel network architecture based on Fourier Analysis, which empowers the ability to efficiently model and reason about periodic phenomena. By introducing Fourier Series, the periodicity is naturally integrated into the structure and computational processes of the neural network, thus achieving a more accurate expression and prediction of periodic patterns. As a promising substitute to multi-layer perceptron (MLP), FAN can seamlessly replace MLP in various models with fewer parameters and FLOPs. Through extensive experiments, we demonstrate the effectiveness of FAN in modeling and reasoning about periodic functions, and the superiority and generalizability of FAN across a range of real-world tasks, including symbolic formula representation, time series forecasting, and language modeling.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL