EIAD: Explainable Industrial Anomaly Detection Via Multi-Modal Large Language Models

要約

産業用アノマリー検出（IAD）は、製造中に製品の品質を確保するために重要です。
既存のゼロショット欠陥セグメンテーションと検出方法は有効性を示していますが、欠陥の詳細な説明を提供することはできません。
さらに、IADでの大規模なマルチモーダルモデルの適用は初期段階に残っており、多くの場合、微調整プロセス中に過剰適合することにより、質問を回答（QA）パフォーマンスとマスクベースの接地機能のバランスをとる際に課題に直面しています。
これらの課題に対処するために、コア機能抽出からダイアログ機能を分離するための専用のマルチモーダル欠陥ローカリゼーションモジュールを導入する新しいアプローチを提案します。
このデカップリングは、独立した最適化目標とカスタマイズされた学習戦略によって達成されます。
さらに、幅広い欠陥タ​​イプと産業シナリオを含む、欠陥検出質問応答（DDQA）という名前の最初のマルチモーダル産業異常検出トレーニングデータセットに貢献します。
GPT生成データに依存する従来のデータセットとは異なり、DDQAは信頼性と信頼性を保証し、モデルトレーニングの堅牢な基盤を提供します。
実験結果は、提案された方法である説明可能な産業用アノマリー検出アシスタント（EIAD）が、欠陥検出およびローカリゼーションタスクで優れたパフォーマンスを達成することを示しています。
精度を大幅に向上させるだけでなく、解釈性も向上させます。
これらの進歩は、産業環境での実用的なアプリケーションのEIADの可能性を強調しています。

要約(オリジナル)

Industrial Anomaly Detection (IAD) is critical to ensure product quality during manufacturing. Although existing zero-shot defect segmentation and detection methods have shown effectiveness, they cannot provide detailed descriptions of the defects. Furthermore, the application of large multi-modal models in IAD remains in its infancy, facing challenges in balancing question-answering (QA) performance and mask-based grounding capabilities, often owing to overfitting during the fine-tuning process. To address these challenges, we propose a novel approach that introduces a dedicated multi-modal defect localization module to decouple the dialog functionality from the core feature extraction. This decoupling is achieved through independent optimization objectives and tailored learning strategies. Additionally, we contribute to the first multi-modal industrial anomaly detection training dataset, named Defect Detection Question Answering (DDQA), encompassing a wide range of defect types and industrial scenarios. Unlike conventional datasets that rely on GPT-generated data, DDQA ensures authenticity and reliability and offers a robust foundation for model training. Experimental results demonstrate that our proposed method, Explainable Industrial Anomaly Detection Assistant (EIAD), achieves outstanding performance in defect detection and localization tasks. It not only significantly enhances accuracy but also improves interpretability. These advancements highlight the potential of EIAD for practical applications in industrial settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google