FANformer: Improving Large Language Models Through Effective Periodicity Modeling

要約

最も重要な基本的な特性の1つとしての定期性は、人間の学習パラダイム内で構造化された知識の習得と体系的な認知プロセスを促進するための基礎を築きます。
ただし、トランスにおける周期性モデリングの潜在的な欠陥は、それに基づいて構築された大規模な言語モデル（LLMS）のデータから基礎となる原則の学習効率と確立に影響します。
この論文では、効果的な周期性モデリングを統合することで、LLMの学習効率とパフォーマンスを改善できることを実証します。
Fourier Analysis Network（Fan）を注意メカニズムに統合して、注意メカニズムの特徴投影プロセスを変更することにより、効率的な周期性モデリングを実現するFanformerを紹介します。
言語モデリングに関する広範な実験結果は、モデルのサイズをスケーリングしてトークンを拡大し、優れた学習効率を強調しているときに、ファンフォーマーがトランスを常に上回ることを示しています。
ファンフォーマーの有効性をさらに検証するために、1兆個のトークンでファンフォーカー1Bを取得します。
Fanformer-1Bは、同様のモデルパラメーターまたはトレーニングトークンを備えたオープンソースLLMと比較して、下流タスクの顕著な改善を示しています。
結果は、LLMを進めるための効果的で有望なアーキテクチャとしてファンフォーマーを位置付けています。

要約(オリジナル)

Periodicity, as one of the most important basic characteristics, lays the foundation for facilitating structured knowledge acquisition and systematic cognitive processes within human learning paradigms. However, the potential flaws of periodicity modeling in Transformer affect the learning efficiency and establishment of underlying principles from data for large language models (LLMs) built upon it. In this paper, we demonstrate that integrating effective periodicity modeling can improve the learning efficiency and performance of LLMs. We introduce FANformer, which integrates Fourier Analysis Network (FAN) into attention mechanism to achieve efficient periodicity modeling, by modifying the feature projection process of attention mechanism. Extensive experimental results on language modeling show that FANformer consistently outperforms Transformer when scaling up model size and training tokens, underscoring its superior learning efficiency. To further validate the effectiveness of FANformer, we pretrain a FANformer-1B on 1 trillion tokens. FANformer-1B exhibits marked improvements on downstream tasks compared to open-source LLMs with similar model parameters or training tokens. The results position FANformer as an effective and promising architecture for advancing LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google