Adapted-MoE: Mixture of Experts with Test-Time Adaption for Anomaly Detection

要約

異常を区別するための正常なサンプルの表現に基づく教師なし異常検出方法のほとんどは、最近目覚ましい進歩を遂げています。
ただし、既存の方法では、トレーニング データセット内のサンプルを区別するための単一の決定境界のみを学習し、現実世界の同じカテゴリであっても、通常のサンプルの特徴分布の変動は無視しています。
さらに、テスト セットとトレーニング セットの間に分布の偏りがまだ存在するとは考えられていませんでした。
したがって、分割統治によって同じカテゴリのサンプルの複数の配信を処理するためのルーティング ネットワークと一連のエキスパート モデルを含む適応 MoE を提案します。
具体的には、同じカテゴリのサンプルをサブクラスの特徴空間にルーティングするための表現学習に基づくルーティング ネットワークを提案します。
次に、一連のエキスパート モデルを利用して、さまざまな正常サンプルの表現を学習し、いくつかの独立した決定境界を構築します。
目に見えないテストサンプルの表現とエキスパートモデルによって学習された特徴分布の間のバイアスを排除するためのテスト時の適応を提案します。
私たちの実験は、Texture AD ベンチマークという 3 つのカテゴリからの複数のサブクラスを提供するデータセットで行われます。
Adapted-MoE はベースライン モデルのパフォーマンスを大幅に向上させ、I-AUROC および P-AUROC で 2.18% ～ 7.20% および 1.57% ～ 16.30% の増加を達成し、現在の最先端の手法を上回るパフォーマンスを示します。
私たちのコードは https://github.com/ で入手できます。

要約(オリジナル)

Most unsupervised anomaly detection methods based on representations of normal samples to distinguish anomalies have recently made remarkable progress. However, existing methods only learn a single decision boundary for distinguishing the samples within the training dataset, neglecting the variation in feature distribution for normal samples even in the same category in the real world. Furthermore, it was not considered that a distribution bias still exists between the test set and the train set. Therefore, we propose an Adapted-MoE which contains a routing network and a series of expert models to handle multiple distributions of same-category samples by divide and conquer. Specifically, we propose a routing network based on representation learning to route same-category samples into the subclasses feature space. Then, a series of expert models are utilized to learn the representation of various normal samples and construct several independent decision boundaries. We propose the test-time adaption to eliminate the bias between the unseen test sample representation and the feature distribution learned by the expert model. Our experiments are conducted on a dataset that provides multiple subclasses from three categories, namely Texture AD benchmark. The Adapted-MoE significantly improves the performance of the baseline model, achieving 2.18%-7.20% and 1.57%-16.30% increase in I-AUROC and P-AUROC, which outperforms the current state-of-the-art methods. Our code is available at https://github.com/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google