Semi-Siamese Network for Robust Change Detection Across Different Domains with Applications to 3D Printing

要約

3D プリント プロセスの自動欠陥検出は、変化検出の問題と多くの特徴を共有しており、3D プリント製品の品質管理にとって重要なステップです。
ただし、現在の実践状況にはいくつかの重大な課題があります。
まず、コンピュータ ビジョン ベースのプロセス監視の既存の方法は、通常、特定のカメラの視点と照明状況でのみうまく機能し、高価な前処理、位置合わせ、およびカメラのセットアップが必要です。
第二に、多くの欠陥検出技術は、事前に定義された欠陥パターンおよび/または印刷回路図に固有のものです。
この作業では、目的のプリントの参照回路図と達成されたプリントのカメラ画像を直接比較する新しいセミシャム ディープ ラーニング モデルを使用して、自動欠陥検出の問題に別の方法でアプローチします。
次に、モデルは画像セグメンテーションの問題を解決し、参照フレームに対する欠陥の位置を特定します。
ほとんどの変更検出の問題とは異なり、私たちのモデルは、さまざまなドメインからの画像を処理するために特別に開発されており、カメラの角度や照明などの画像設定の摂動に対して堅牢です。
標準の MacBookPro を使用して、レイヤーあたり 2.75 秒で欠陥の位置特定の予測が行われました。これは、0.9 を超える F1 スコアを達成しながら、インクジェットベースの 3D プリンターで単一のレイヤーを印刷する場合の典型的な数十秒以下に匹敵します。

要約(オリジナル)

Automatic defect detection for 3D printing processes, which shares many characteristics with change detection problems, is a vital step for quality control of 3D printed products. However, there are some critical challenges in the current state of practice. First, existing methods for computer vision-based process monitoring typically work well only under specific camera viewpoints and lighting situations, requiring expensive pre-processing, alignment, and camera setups. Second, many defect detection techniques are specific to pre-defined defect patterns and/or print schematics. In this work, we approach the automatic defect detection problem differently using a novel Semi-Siamese deep learning model that directly compares a reference schematic of the desired print and a camera image of the achieved print. The model then solves an image segmentation problem, identifying the locations of defects with respect to the reference frame. Unlike most change detection problems, our model is specially developed to handle images coming from different domains and is robust against perturbations in the imaging setup such as camera angle and illumination. Defect localization predictions were made in 2.75 seconds per layer using a standard MacBookPro, which is comparable to the typical tens of seconds or less for printing a single layer on an inkjet-based 3D printer, while achieving an F1-score of more than 0.9.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google