Effective Transfer of Pretrained Large Visual Model for Fabric Defect Segmentation via Specifc Knowledge Injection

要約

布地欠陥のセグメント化は、布地の品質管理に不可欠です。
それにもかかわらず、高品質の注釈付きデータの不足とファブリックの欠陥の多様性により、この分野でのディープラーニングの適用には大きな課題が生じています。
これらの要因により、既存のモデルの一般化とセグメンテーションのパフォーマンスが制限され、さまざまなファブリック タイプや欠陥の複雑さを処理する能力が妨げられます。
これらの障害を克服するために、この研究では、ファブリックの欠陥に関する専門知識を大規模な視覚モデルであるセグメント エニシング モデル (SAM) に注入する革新的な方法を導入しました。
このアプローチでは、ファブリック欠陥関連パラメーターの独自のセットを導入してトレーニングすることにより、既存のモデル パラメーターに大幅な変更を加えることなく、ドメイン固有の知識を SAM にシームレスに統合します。
改良された SAM モデルは、大規模な自然画像データセットから学習した一般化された画像理解を活用しながら、ファブリック欠陥固有の知識を組み込んで、ファブリック欠陥セグメンテーション タスクの熟練度を確保します。
実験結果は、一般的な知識とファブリック固有の知識のこの新しい融合によるもので、モデルのセグメンテーション パフォーマンスが大幅に向上していることを明らかにしています。
3 つのデータセットにわたる一般的な既存のセグメンテーション モデルに対してベンチマークを行った場合、私たちが提案したモデルはパフォーマンスが大幅に向上していることを示しています。
データセット間の比較と少数ショット学習実験におけるその印象的な結果は、繊維の品質管理における実用的な応用の可能性をさらに実証しています。

要約(オリジナル)

Fabric defect segmentation is integral to textile quality control. Despite this, the scarcity of high-quality annotated data and the diversity of fabric defects present significant challenges to the application of deep learning in this field. These factors limit the generalization and segmentation performance of existing models, impeding their ability to handle the complexity of diverse fabric types and defects. To overcome these obstacles, this study introduces an innovative method to infuse specialized knowledge of fabric defects into the Segment Anything Model (SAM), a large-scale visual model. By introducing and training a unique set of fabric defect-related parameters, this approach seamlessly integrates domain-specific knowledge into SAM without the need for extensive modifications to the pre-existing model parameters. The revamped SAM model leverages generalized image understanding learned from large-scale natural image datasets while incorporating fabric defect-specific knowledge, ensuring its proficiency in fabric defect segmentation tasks. The experimental results reveal a significant improvement in the model’s segmentation performance, attributable to this novel amalgamation of generic and fabric-specific knowledge. When benchmarking against popular existing segmentation models across three datasets, our proposed model demonstrates a substantial leap in performance. Its impressive results in cross-dataset comparisons and few-shot learning experiments further demonstrate its potential for practical applications in textile quality control.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google