Masked Autoencoders with Multi-Window Local-Global Attention Are Better Audio Learners

要約

この研究では、新しいマルチウィンドウ マルチヘッド アテンション (MW-MHA) モジュールを備えたマルチウィンドウ マスク オートエンコーダー (MW-MAE) を提案します。このモジュールは、アテンションを通じてすべてのデコーダー トランス ブロックにおけるローカルとグローバルの相互作用のモデリングを容易にします。
いくつかの異なるローカル ウィンドウとグローバル ウィンドウの先頭。
10 個のダウンストリーム オーディオ タスクに関する実験結果は、MW-MAE が全体的なパフォーマンスで標準 MAE を常に上回り、より優れた汎用オーディオ表現を学習するとともに、大幅に優れたスケーリング特性を実証していることを示しています。
アテンション距離とエントロピーを調査すると、MW-MAE エンコーダーがより広範なローカルおよびグローバル アテンションを使用してヘッドを学習することが明らかになりました。
投影加重正準相関分析 (PWCCA) を通じてアテンション ヘッドの特徴表現を分析すると、MW-MAE のデコーダー層全体で同じウィンドウ サイズを持つアテンション ヘッドが相関のある特徴表現を学習し、各ブロックがローカルおよびグローバル情報を独立してキャプチャできるようになり、
分離されたデコーダ機能階層。
特徴抽出と下流実験用のコードは、事前トレーニングされたモデルとともに公開されます。

要約(オリジナル)

In this work, we propose a Multi-Window Masked Autoencoder (MW-MAE) fitted with a novel Multi-Window Multi-Head Attention (MW-MHA) module that facilitates the modelling of local-global interactions in every decoder transformer block through attention heads of several distinct local and global windows. Empirical results on ten downstream audio tasks show that MW-MAEs consistently outperform standard MAEs in overall performance and learn better general-purpose audio representations, along with demonstrating considerably better scaling characteristics. Investigating attention distances and entropies reveals that MW-MAE encoders learn heads with broader local and global attention. Analyzing attention head feature representations through Projection Weighted Canonical Correlation Analysis (PWCCA) shows that attention heads with the same window sizes across the decoder layers of the MW-MAE learn correlated feature representations which enables each block to independently capture local and global information, leading to a decoupled decoder feature hierarchy. Code for feature extraction and downstream experiments along with pre-trained models will be released publically.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google