Active Learning and Novel Model Calibration Measurements for Automated Visual Inspection in Manufacturing

要約

品質管理は、製品が品質基準を満たし、ブランドの評判が損なわれる可能性を回避するために、製造企業が実行する重要な活動です。
センサーと接続のコストが低下したことで、製造のデジタル化が促進されました。
さらに、人工知能によって高度な自動化が可能になり、欠陥検査に必要な全体的なコストと時間が削減されます。
この研究では、単一および複数のオラクルを持つ 3 つのアクティブ ラーニング アプローチを目視検査と比較しています。
グラウンド トゥルースを必要とせずにキャリブレーションの品質を評価するために、6 つの新しいメトリックが提案されています。
さらに、この研究では、おおよそのグラウンド トゥルースを活用してキャリブレーション セットを拡大することで、既存のキャリブレーターのパフォーマンスを向上できるかどうかを調査します。
実験は、Philips Consumer Lifestyle BV から提供された実世界のデータで実行されました。
私たちの結果は、p=0.95 のしきい値を考慮すると、探索されたアクティブ ラーニング設定が、全体的な品質目標を損なうことなく、データのラベル付け作業を 3 ～ 4% 削減できることを示しています。
さらに、結果は、提案されたキャリブレーション メトリクスが、グラウンド トゥルース データを通じてのみ最新のメトリクスで利用可能な関連情報をうまく取得できることを示しています。
したがって、提案されたメトリックを使用して、グラウンド トゥルース データを取得するためのラベリング作業を行うことなく、モデルの確率キャリブレーションの品質を推定できます。

要約(オリジナル)

Quality control is a crucial activity performed by manufacturing enterprises to ensure that their products meet quality standards and avoid potential damage to the brand’s reputation. The decreased cost of sensors and connectivity enabled increasing digitalization of manufacturing. In addition, artificial intelligence enables higher degrees of automation, reducing overall costs and time required for defect inspection. This research compares three active learning approaches, having single and multiple oracles, to visual inspection. Six new metrics are proposed to assess the quality of calibration without the need for ground truth. Furthermore, this research explores whether existing calibrators can improve their performance by leveraging an approximate ground truth to enlarge the calibration set. The experiments were performed on real-world data provided by Philips Consumer Lifestyle BV. Our results show that the explored active learning settings can reduce the data labeling effort by between three and four percent without detriment to the overall quality goals, considering a threshold of p=0.95. Furthermore, the results show that the proposed calibration metrics successfully capture relevant information otherwise available to metrics used up to date only through ground truth data. Therefore, the proposed metrics can be used to estimate the quality of models’ probability calibration without committing to a labeling effort to obtain ground truth data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google