Dimension Mixer: A Generalized Method for Structured Sparsity in Deep Neural Networks

要約

CNN、トランスフォーマー、MLP ミキサーなどの複数のニューラル アーキテクチャの最近の成功により、私たちはそれらの類似点と相違点を探すようになりました。
私たちは、これらのアーキテクチャが次元混合の一般的な概念のレンズを通して解釈できることを発見しました。
結合フローとバタフライ変換に関する研究では、効率的で表現力豊かな関数近似には部分的および階層的な信号混合スキームで十分であることが示されています。
この研究では、グループごとのスパース、非線形、多層の学習可能な入力混合スキームを研究し、それらが多くの標準的なニューラル アーキテクチャを補完するものであることを発見しました。
私たちの観察と高速フーリエ変換からのインスピレーションを受けて、非線形ミキサー関数を使用するようにバタフライ構造を一般化して、MLP をバタフライ MLP と呼ばれる混合関数として使用できるようにします。
また、Butterfly Attendant と呼ばれる Transformer ベースのアーキテクチャのシーケンス次元に沿ってミックスすることもできました。
CIFAR および LRA データセットの実験では、提案された非線形バタフライ ミキサーが効率的であり、ホスト アーキテクチャが混合機能として使用される場合に適切に拡張できることが実証されています。
さらに、空間 2D 信号を処理するパッチ専用 MLP ミキサーを提案し、異なる次元のミキシング戦略を実証します。

要約(オリジナル)

The recent success of multiple neural architectures like CNNs, Transformers, and MLP-Mixers motivated us to look for similarities and differences between them. We found that these architectures can be interpreted through the lens of a general concept of dimension mixing. Research on coupling flows and the butterfly transform shows that partial and hierarchical signal mixing schemes are sufficient for efficient and expressive function approximation. In this work, we study group-wise sparse, non-linear, multi-layered and learnable mixing schemes of inputs and find that they are complementary to many standard neural architectures. Following our observations and drawing inspiration from the Fast Fourier Transform, we generalize Butterfly Structure to use non-linear mixer function allowing for MLP as mixing function called Butterfly MLP. We were also able to mix along sequence dimension for Transformer-based architectures called Butterfly Attention. Experiments on CIFAR and LRA datasets demonstrate that the proposed Non-Linear Butterfly Mixers are efficient and scale well when the host architectures are used as mixing function. Additionally, we propose Patch-Only MLP-Mixer for processing spatial 2D signals demonstrating a different dimension mixing strategy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google