Generative Pre-Training of Time-Series Data for Unsupervised Fault Detection in Semiconductor Manufacturing

要約

このペーパーでは、畳み込み埋め込みと生成事前トレーニング済みトランスフォーマーを使用した時系列異常検出の略である TRACE-GPT を紹介します。
TRACE-GPT は、半導体製造における単変量時系列センサー データを事前トレーニングし、ラベルのないデータセットの障害を検出するように設計されています。
半導体業界では、異常な時系列センサーデータを正常なデータから分類することは、ウェーハの欠陥に直接関係するため重要です。
ただし、十分な異常がない、小さい、ラベルのない、さらには混合されたトレーニング データでは、分類タスクが困難になります。
本研究では、時間畳み込み埋め込みと生成事前学習変換器（GPT）を用いて時系列データの特徴を捕捉し、クロスエントロピー損失を利用して異常シーケンスを正常シーケンスから分類します。
私たちは、オープン データセット、カリフォルニア大学リバーサイド大学 (UCR) の時系列分類アーカイブ、および化学蒸着 (CVD) 装置のプロセス ログの両方を使用して、モデルが以前の教師なしモデルよりも優れたパフォーマンスを示すことを証明しました。
私たちのモデルは、すべてのデータセットにわたって等誤り率 (EER) で最も高い F1 スコアを持ち、オープン データセットの監視された最先端のベースラインをわずか 0.026 下回っています。

要約(オリジナル)

This paper introduces TRACE-GPT, which stands for Time-seRies Anomaly-detection with Convolutional Embedding and Generative Pre-trained Transformers. TRACE-GPT is designed to pre-train univariate time-series sensor data and detect faults on unlabeled datasets in semiconductor manufacturing. In semiconductor industry, classifying abnormal time-series sensor data from normal data is important because it is directly related to wafer defect. However, small, unlabeled, and even mixed training data without enough anomalies make classification tasks difficult. In this research, we capture features of time-series data with temporal convolutional embedding and Generative Pre-trained Transformer (GPT) to classify abnormal sequences from normal sequences using cross entropy loss. We prove that our model shows better performance than previous unsupervised models with both an open dataset, the University of California Riverside (UCR) time-series classification archive, and the process log of our Chemical Vapor Deposition (CVD) equipment. Our model has the highest F1 score at Equal Error Rate (EER) across all datasets and is only 0.026 below the supervised state-of-the-art baseline on the open dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google