PartialFormer: Modeling Part Instead of Whole for Machine Translation

要約

Transformer フィードフォワード ニューラル ネットワークの設計上の選択により、計算量とパラメーターのオーバーヘッドが大幅に増加しました。
この研究では、軽量 FFN の設計における隠れた次元の重要性を強調します。これは、以前のアーキテクチャでは見落とされがちな要素でした。
この原理に基づいて、重要な隠れ次元を維持しながらパラメータと計算を削減するために複数のより小さい FFN を利用するパラメータ効率の高い Transformer アーキテクチャである PartialFormer を紹介します。
これらの小さな FFN は、効果的なコラボレーションのためのマルチヘッド アテンション メカニズムに統合されています。
また、PartialFormer の機能を強化するために、カスタマイズされたヘッド スケーリング戦略も提案します。
さらに、PartialFormer 内の深さのスケーリングを改善するための残差のような注意計算を提示します。
9 つの翻訳タスクと 1 つの抽象的な要約タスクに関する広範な実験により、機械翻訳および要約タスクに対する PartialFormer アプローチの有効性が検証されました。
私たちのコードは https://github.com/zhengkid/PartialFormer で入手できます。

要約(オリジナル)

The design choices in Transformer feed-forward neural networks have resulted in significant computational and parameter overhead. In this work, we emphasize the importance of hidden dimensions in designing lightweight FFNs, a factor often overlooked in previous architectures. Guided by this principle, we introduce PartialFormer, a parameter-efficient Transformer architecture utilizing multiple smaller FFNs to reduce parameters and computation while maintaining essential hidden dimensions. These smaller FFNs are integrated into a multi-head attention mechanism for effective collaboration. We also propose a tailored head scaling strategy to enhance PartialFormer’s capabilities. Furthermore, we present a residual-like attention calculation to improve depth scaling within PartialFormer. Extensive experiments on 9 translation tasks and 1 abstractive summarization task validate the effectiveness of our PartialFormer approach on machine translation and summarization tasks. Our code would be available at: https://github.com/zhengkid/PartialFormer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google