Conformal Segmentation in Industrial Surface Defect Detection with Statistical Guarantees

要約

産業環境では、鋼の表面欠陥は、そのサービス寿命を大幅に損ない、潜在的な安全リスクを高めることができます。
従来の欠陥検出方法は、主に手動検査に依存しており、効率が低く、コストが高くなります。
畳み込みニューラルネットワーク（例：マスクR-CNN）に基づく自動化された欠陥検出アプローチは迅速に進歩していますが、深いモデルトレーニングと過剰適合の問題中のデータアノテーションの不確実性により、その信頼性は依然として挑戦されています。
これらの制限は、与えられた新しいテストサンプルを処理する際の検出偏差につながり、自動検出プロセスを信頼できないようにする可能性があります。
この課題に対処するために、最初に、テストデータを使用して、独立した同一に分散した（I.I.D）条件を満たすキャリブレーションデータを通じて検出モデルの実用的なパフォーマンスを評価します。
具体的には、各キャリブレーションサンプルの損失関数を定義して、リコール率や誤発見率の補体などの検出エラー率を定量化します。
その後、ユーザー定義のリスクレベルに基づいて統計的に厳密なしきい値を導き出し、テスト画像で高耐性の欠陥のあるピクセルを特定し、それにより予測セット（例：欠陥領域）を構築します。
この方法は、テストセットの予想されるエラー率（平均エラー率）が事前定義されたリスクレベルによって厳密にバウンスされたままであることを保証します。
さらに、平均予測セットサイズとテストセットのリスクレベルとの間に負の相関があり、検出モデルの不確実性を評価するための統計的に厳密なメトリックを確立します。
さらに、我々の研究では、さまざまなキャリブレーションとテストのパーティション比にわたる予想されるテストセットエラー率を堅牢かつ効率的に制御し、メソッドの適応性と運用効果を検証します。

要約(オリジナル)

In industrial settings, surface defects on steel can significantly compromise its service life and elevate potential safety risks. Traditional defect detection methods predominantly rely on manual inspection, which suffers from low efficiency and high costs. Although automated defect detection approaches based on Convolutional Neural Networks(e.g., Mask R-CNN) have advanced rapidly, their reliability remains challenged due to data annotation uncertainties during deep model training and overfitting issues. These limitations may lead to detection deviations when processing the given new test samples, rendering automated detection processes unreliable. To address this challenge, we first evaluate the detection model’s practical performance through calibration data that satisfies the independent and identically distributed (i.i.d) condition with test data. Specifically, we define a loss function for each calibration sample to quantify detection error rates, such as the complement of recall rate and false discovery rate. Subsequently, we derive a statistically rigorous threshold based on a user-defined risk level to identify high-probability defective pixels in test images, thereby constructing prediction sets (e.g., defect regions). This methodology ensures that the expected error rate (mean error rate) on the test set remains strictly bounced by the predefined risk level. Additionally, we observe a negative correlation between the average prediction set size and the risk level on the test set, establishing a statistically rigorous metric for assessing detection model uncertainty. Furthermore, our study demonstrates robust and efficient control over the expected test set error rate across varying calibration-to-test partitioning ratios, validating the method’s adaptability and operational effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google