MambaAD: Exploring State Space Models for Multi-class Unsupervised Anomaly Detection

要約

異常検出における最近の進歩により、CNN およびトランスフォーマー ベースのアプローチの有効性が明らかになりました。
ただし、CNN は長距離の依存関係に悩まされ、トランスフォーマーは 2 次の計算の複雑さに悩まされます。
Mamba ベースのモデルは、優れた長距離モデリングと線形効率を備えており、大きな注目を集めています。
この研究は、マルチクラスの教師なし異常検出への Mamba の応用の先駆者であり、マルチスケールの (局所性拡張状態空間) LSS モジュールを特徴とする事前トレーニング済みエンコーダーと Mamba デコーダーで構成される MambaAD を紹介します。
提案された LSS モジュールは、並列カスケード (ハイブリッド状態空間) HSS ブロックとマルチカーネル畳み込み演算を統合し、長距離情報とローカル情報の両方を効果的にキャプチャします。
HSS ブロックは、(ハイブリッド スキャン) HS エンコーダを利用して、特徴マップを 5 つのスキャン方法と 8 方向にエンコードし、それによって (状態空間モデル) SSM を介してグローバル接続を強化します。
ヒルベルト スキャンと 8 方向の使用により、特徴シーケンス モデリングが大幅に向上します。
6 つの多様な異常検出データセットと 7 つのメトリクスに関する包括的な実験により、最先端のパフォーマンスが実証され、この方法の有効性が実証されました。

要約(オリジナル)

Recent advancements in anomaly detection have seen the efficacy of CNN- and transformer-based approaches. However, CNNs struggle with long-range dependencies, while transformers are burdened by quadratic computational complexity. Mamba-based models, with their superior long-range modeling and linear efficiency, have garnered substantial attention. This study pioneers the application of Mamba to multi-class unsupervised anomaly detection, presenting MambaAD, which consists of a pre-trained encoder and a Mamba decoder featuring (Locality-Enhanced State Space) LSS modules at multi-scales. The proposed LSS module, integrating parallel cascaded (Hybrid State Space) HSS blocks and multi-kernel convolutions operations, effectively captures both long-range and local information. The HSS block, utilizing (Hybrid Scanning) HS encoders, encodes feature maps into five scanning methods and eight directions, thereby strengthening global connections through the (State Space Model) SSM. The use of Hilbert scanning and eight directions significantly improves feature sequence modeling. Comprehensive experiments on six diverse anomaly detection datasets and seven metrics demonstrate state-of-the-art performance, substantiating the method’s effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google