FabGPT: An Efficient Large Multimodal Model for Complex Wafer Defect Knowledge Queries

要約

インテリジェンスは集積回路 (IC) 製造を進歩させる鍵です。
大規模マルチモーダル モデル (LMM) における最近の進歩により、画像とテキストを理解する比類のない能力が解放され、インテリジェントな製造が促進されます。
LMM の能力を活用して、ウェーハ欠陥知識クエリのためのカスタマイズされた IC 製造大規模マルチモーダル モデルである FabGPT を紹介します。
FabGPT は、走査型電子顕微鏡 (SEM) 画像での欠陥検出の実施、根本原因分析の実行、製造プロセスに関する専門的な質問回答 (Q&A) の提供に関する専門知識を示しています。
FabGPT は強化されたマルチモーダル機能と一致し、複雑なウェーハ背景の下で微細な欠陥を自動的に検出し、手動のしきい値設定の主観性を軽減します。
さらに、提案された変調モジュールとインタラクティブなコーパストレーニング戦略は、ウェーハ欠陥の知識を事前トレーニングされたモデルに埋め込み、欠陥の知識と元の知識に関連するQ&Aクエリのバランスを効果的に調整し、モダリティバイアスの問題を軽減します。
社内ファブデータ (SEM-WaD) の実験では、当社の FabGPT がウェーハ欠陥検出と知識クエリにおいて大幅なパフォーマンス向上を達成していることが示されています。

要約(オリジナル)

Intelligence is key to advancing integrated circuit (IC) fabrication. Recent breakthroughs in Large Multimodal Models (LMMs) have unlocked unparalleled abilities in understanding images and text, fostering intelligent fabrication. Leveraging the power of LMMs, we introduce FabGPT, a customized IC fabrication large multimodal model for wafer defect knowledge query. FabGPT manifests expertise in conducting defect detection in Scanning Electron Microscope (SEM) images, performing root cause analysis, and providing expert question-answering (Q&A) on fabrication processes. FabGPT matches enhanced multimodal features to automatically detect minute defects under complex wafer backgrounds and reduce the subjectivity of manual threshold settings. Besides, the proposed modulation module and interactive corpus training strategy embed wafer defect knowledge into the pre-trained model, effectively balancing Q&A queries related to defect knowledge and original knowledge and mitigating the modality bias issues. Experiments on in-house fab data (SEM-WaD) show that our FabGPT achieves significant performance improvement in wafer defect detection and knowledge querying.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google