FAN: Fourier Analysis Networks

要約

MLPやトランスなどの汎用ニューラルネットワークの顕著な成功にもかかわらず、定期的な現象に関するモデリングと推論において顕著な欠点を示し、トレーニングドメイン内での限界性能のみを達成し、効果的に一般化することができないことがわかります。
ドメイン（OOD）シナリオ。
周期性は、自然と科学全体で遍在しています。
したがって、ニューラルネットワークには、周期性をモデル化および処理する本質的な能力を備えている必要があります。
この作業では、MLPに類似した幅広い適用性を提供しながら、周期性モデリングの課題に効果的に対処する新しい汎用ニューラルネットワークであるファンを提案します。
周期性は、フーリエの原理を導入することにより、ファンの構造と計算プロセスに自然に統合されます。
特定の周期性モデリング能力を備えているが、通常特定のタスク用に設計されている既存のフーリエベースのネットワークとは異なり、当社のアプローチは汎用モデリング機能を維持します。
したがって、ファンは、さまざまなモデルアーキテクチャでMLPをより少ないパラメーターとフロップでシームレスに置き換えることができます。
広範な実験を通じて、周期性モデリングのタスクにおけるファンの優位性と、さまざまな現実世界のタスク、例えば象徴的な式表現、時系列予測、言語モデリング、画像認識にわたるファンの有効性と一般化可能性を実証します。

要約(オリジナル)

Despite the remarkable successes of general-purpose neural networks, such as MLPs and Transformers, we find that they exhibit notable shortcomings in modeling and reasoning about periodic phenomena, achieving only marginal performance within the training domain and failing to generalize effectively to out-of-domain (OOD) scenarios. Periodicity is ubiquitous throughout nature and science. Therefore, neural networks should be equipped with the essential ability to model and handle periodicity. In this work, we propose FAN, a novel general-purpose neural network that offers broad applicability similar to MLP while effectively addressing periodicity modeling challenges. Periodicity is naturally integrated into FAN’s structure and computational processes by introducing the Fourier Principle. Unlike existing Fourier-based networks, which possess particular periodicity modeling abilities but are typically designed for specific tasks, our approach maintains the general-purpose modeling capability. Therefore, FAN can seamlessly replace MLP in various model architectures with fewer parameters and FLOPs. Through extensive experiments, we demonstrate the superiority of FAN in periodicity modeling tasks and the effectiveness and generalizability of FAN across a range of real-world tasks, e.g., symbolic formula representation, time series forecasting, language modeling, and image recognition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google