ADer: A Comprehensive Benchmark for Multi-class Visual Anomaly Detection

要約

視覚的異常検出は、教師なし学習パラダイムを通じて画像内の異常領域を特定することを目的としており、工業用検査や医療病変検出などの分野でアプリケーションの需要と価値が高まっています。
近年の大幅な進歩にも関わらず、実際のマルチクラス設定の下で、さまざまなデータセットにわたるさまざまな主流手法のパフォーマンスを適切に評価するための包括的なベンチマークが不足しています。
標準化された実験設定が存在しないと、トレーニング エポック、解像度、メトリクスの結果に潜在的なバイアスが生じ、誤った結論が得られる可能性があります。
この論文では、包括的な視覚的異常検出ベンチマーク \textbf{\textit{ADer}} を提案することで、この問題に対処します。これは、新しい手法に対して高度に拡張可能なモジュール式フレームワークです。
このベンチマークには産業および医療分野の複数のデータセットが含まれており、15 の最先端の手法と 9 つの包括的な指標が実装されています。
さらに、大規模データに対する時間のかかる mAU-PRO などのメトリクスの評価が遅い問題に対処するために、GPU 支援の \href{https://pypi.org/project/ADEval}{ADEval} パッケージをオープンソース化しました。
により、評価時間が \textit{1000 倍} 以上大幅に短縮されます。
広範な実験結果を通じて、さまざまな方法の長所と短所を客観的に明らかにし、マルチクラスの視覚異常検出の課題と将来の方向性についての洞察を提供します。
\textbf{\textit{ADer}} がこの分野の研究者や実務者にとって貴重なリソースとなり、より堅牢で汎用性のある異常検出システムの開発が促進されることを願っています。
完全なコードは付録に添付されており、\url{https://github.com/zhangzjn/ader} でオープンソース化されています。

要約(オリジナル)

Visual anomaly detection aims to identify anomalous regions in images through unsupervised learning paradigms, with increasing application demand and value in fields such as industrial inspection and medical lesion detection. Despite significant progress in recent years, there is a lack of comprehensive benchmarks to adequately evaluate the performance of various mainstream methods across different datasets under the practical multi-class setting. The absence of standardized experimental setups can lead to potential biases in training epochs, resolution, and metric results, resulting in erroneous conclusions. This paper addresses this issue by proposing a comprehensive visual anomaly detection benchmark, \textbf{\textit{ADer}}, which is a modular framework that is highly extensible for new methods. The benchmark includes multiple datasets from industrial and medical domains, implementing fifteen state-of-the-art methods and nine comprehensive metrics. Additionally, we have open-sourced the GPU-assisted \href{https://pypi.org/project/ADEval}{ADEval} package to address the slow evaluation problem of metrics like time-consuming mAU-PRO on large-scale data, significantly reducing evaluation time by more than \textit{1000-fold}. Through extensive experimental results, we objectively reveal the strengths and weaknesses of different methods and provide insights into the challenges and future directions of multi-class visual anomaly detection. We hope that \textbf{\textit{ADer}} will become a valuable resource for researchers and practitioners in the field, promoting the development of more robust and generalizable anomaly detection systems. Full codes have been attached in Appendix and open-sourced at \url{https://github.com/zhangzjn/ader}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google