Large Language Models for Failure Mode Classification: An Investigation

要約

この論文では、障害モード分類 (FMC) に対する大規模言語モデル (LLM) の有効性に関する最初の調査を紹介します。
FMC は、対応する故障モード コードを使用して観察結果に自動的にラベルを付けるタスクであり、信頼性エンジニアが作業指示書を手動で分析する時間を削減するため、メンテナンス ドメインでは重要なタスクです。
制限されたコード リストを使用して、LLM が特定の観測の故障モードを予測できるようにするエンジニアリングを促進するためのアプローチを詳しく説明します。
注釈付きデータで微調整された GPT-3.5 モデル (F1=0.80) のパフォーマンスは、同じ注釈付きデータセットでトレーニングされた現在利用可能なテキスト分類モデル (F1=0.60) よりも大幅に向上していることを示します。
微調整されたモデルは、すぐに使用できる GPT-3.5 (F1=0.46) よりも優れています。
この調査により、LLM を使用したドメイン固有のタスクのための高品質の微調整データ セットの必要性が強化されました。

要約(オリジナル)

In this paper we present the first investigation into the effectiveness of Large Language Models (LLMs) for Failure Mode Classification (FMC). FMC, the task of automatically labelling an observation with a corresponding failure mode code, is a critical task in the maintenance domain as it reduces the need for reliability engineers to spend their time manually analysing work orders. We detail our approach to prompt engineering to enable an LLM to predict the failure mode of a given observation using a restricted code list. We demonstrate that the performance of a GPT-3.5 model (F1=0.80) fine-tuned on annotated data is a significant improvement over a currently available text classification model (F1=0.60) trained on the same annotated data set. The fine-tuned model also outperforms the out-of-the box GPT-3.5 (F1=0.46). This investigation reinforces the need for high quality fine-tuning data sets for domain-specific tasks using LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google