SPANet: Frequency-balancing Token Mixer using Spectral Pooling Aggregation Modulation

要約

最近の研究では、自己注意が (畳み込みではなく) ローパス フィルターのように動作し、そのハイパス フィルター機能を強化するとモデルのパフォーマンスが向上することが示されています。
この考えに反して、スペクトル解析を使用して既存の畳み込みベースのモデルを調査し、畳み込み演算におけるローパス フィルターの改善もパフォーマンスの向上につながることを観察しました。
この観察を説明するために、高周波成分と低周波成分の両方のバランスの取れた表現をキャプチャする最適なトークン ミキサーを利用すると、モデルのパフォーマンスを向上できるという仮説を立てます。
視覚的特徴を周波数領域に分解し、それらをバランスよく組み合わせることで、これを検証します。
これに対処するために、バランシングの問題を周波数領域のマスク フィルタリングの問題に置き換えます。
次に、SPAM という名前の新しいトークン ミキサーを導入し、それを活用して SPANet と呼ばれる MetaFormer モデルを導き出します。
実験結果は、提案された方法がこのバランスを達成する方法を提供し、高周波成分と低周波成分の両方のバランスの取れた表現により、複数のコンピューター ビジョン タスクにおけるモデルのパフォーマンスを向上できることを示しています。
コードは $\href{https://doranlyong.github.io/projects/spanet/}{\text{https://doranlyong.github.io/projects/spanet/}}$ で入手できます。

要約(オリジナル)

Recent studies show that self-attentions behave like low-pass filters (as opposed to convolutions) and enhancing their high-pass filtering capability improves model performance. Contrary to this idea, we investigate existing convolution-based models with spectral analysis and observe that improving the low-pass filtering in convolution operations also leads to performance improvement. To account for this observation, we hypothesize that utilizing optimal token mixers that capture balanced representations of both high- and low-frequency components can enhance the performance of models. We verify this by decomposing visual features into the frequency domain and combining them in a balanced manner. To handle this, we replace the balancing problem with a mask filtering problem in the frequency domain. Then, we introduce a novel token-mixer named SPAM and leverage it to derive a MetaFormer model termed as SPANet. Experimental results show that the proposed method provides a way to achieve this balance, and the balanced representations of both high- and low-frequency components can improve the performance of models on multiple computer vision tasks. Our code is available at $\href{https://doranlyong.github.io/projects/spanet/}{\text{https://doranlyong.github.io/projects/spanet/}}$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google