DenoMAE2.0: Improving Denoising Masked Autoencoders by Classifying Local Patches

要約

Denomae2.0を導入します。これは、従来の再構成損失と一緒にローカルパッチ分類目標を統合して表現学習と堅牢性を改善する強化された除去マスク自動エンコーダーです。
不足している入力の再構築のみに焦点を当てた従来のマスク自動エンコーダー（MAE）とは異なり、DENOMAE2.0は、マスクされていないパッチの位置認識分類を導入し、グローバルな一貫性を維持しながら、細粒のローカル機能をキャプチャできるようにします。
この二重の客観的なアプローチは、高いノイズレベルとデータ不足が重要な課題をもたらすワイヤレス通信の半監視学習で特に有益です。
幅広い信号対雑音比（SNR）にわたる変調信号分類、非常に低いものから中程度の条件から低いデータレジームで広範な実験を実施します。
我々の結果は、Denomae2.0が前任者であるDeno-Maeおよびその他のベースラインを、品質の除去と下流の分類精度の両方で超えていることを示しています。
DENOMAE2.0は、データセットのDenomaeよりも1.1％の改善を達成し、11.83％で、変調信号の星座図分類について、Radioml Benchmark、Denomaeよりも16.55％の大幅な改善精度増加を達成します。

要約(オリジナル)

We introduce DenoMAE2.0, an enhanced denoising masked autoencoder that integrates a local patch classification objective alongside traditional reconstruction loss to improve representation learning and robustness. Unlike conventional Masked Autoencoders (MAE), which focus solely on reconstructing missing inputs, DenoMAE2.0 introduces position-aware classification of unmasked patches, enabling the model to capture fine-grained local features while maintaining global coherence. This dual-objective approach is particularly beneficial in semi-supervised learning for wireless communication, where high noise levels and data scarcity pose significant challenges. We conduct extensive experiments on modulation signal classification across a wide range of signal-to-noise ratios (SNRs), from extremely low to moderately high conditions and in a low data regime. Our results demonstrate that DenoMAE2.0 surpasses its predecessor, Deno-MAE, and other baselines in both denoising quality and downstream classification accuracy. DenoMAE2.0 achieves a 1.1% improvement over DenoMAE on our dataset and 11.83%, 16.55% significant improved accuracy gains on the RadioML benchmark, over DenoMAE, for constellation diagram classification of modulation signals.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google