FreConv: Frequency Branch-and-Integration Convolutional Networks

要約

タイトル：FreConv：周波数ブランチアンドインテグレーション畳み込みネットワーク

要約：

– 入力データの周波数情報を活用することは、ネットワークの性能を向上させることができる。
– しかし、既存の一般的な畳み込みアーキテクチャは、データセットに含まれる周波数情報を特に考慮して設計されていない。
– 本論文では、バニラ畳み込みを置き換える新しい有効なモジュールであるFreConv（周波数ブランチアンドインテグレーション畳み込み）を提案する。
– FreConvは、高周波情報と低周波情報を抽出して統合するためのデュアルブランチアーキテクチャを採用している。
– 高周波ブランチでは、高周波情報を抽出するために微分フィルタ様のアーキテクチャが設計されている。
– 低周波ブランチでは、低周波情報が通常冗長であるため、ライトエクストラクタが使用される。
– FreConvは、入力データの周波数情報をより合理的な方法で活用し、特徴表現能力を向上させ、記憶および計算コストを大幅に削減できる。
– さまざまなタスクでの実験結果は、FreConv付きネットワークが一貫して最新技術のベースラインを上回ることを示している。

要約(オリジナル)

Recent researches indicate that utilizing the frequency information of input data can enhance the performance of networks. However, the existing popular convolutional structure is not designed specifically for utilizing the frequency information contained in datasets. In this paper, we propose a novel and effective module, named FreConv (frequency branch-and-integration convolution), to replace the vanilla convolution. FreConv adopts a dual-branch architecture to extract and integrate high- and low-frequency information. In the high-frequency branch, a derivative-filter-like architecture is designed to extract the high-frequency information while a light extractor is employed in the low-frequency branch because the low-frequency information is usually redundant. FreConv is able to exploit the frequency information of input data in a more reasonable way to enhance feature representation ability and reduce the memory and computational cost significantly. Without any bells and whistles, experimental results on various tasks demonstrate that FreConv-equipped networks consistently outperform state-of-the-art baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI