Tele-Knowledge Pre-training for Fault Analysis

要約

この作業では、障害分析のための遠隔知識事前トレーニングに関する経験を共有します。これは、通常、マシン ログ データと製品ドキュメントの両方に見られる幅広い知識を必要とする通信アプリケーションの重要なタスクです。
この専門家からのナレッジを一様に整理するために、Tele-KG（テレナレッジグラフ）を作成することを提案します。
この貴重なデータを使用して、テレドメイン言語事前トレーニング モデル TeleBERT とその知識強化バージョンであるテレ知識再トレーニング モデル KTeleBERT をさらに提案します。
これには、効果的なプロンプト ヒント、適応型数値データ エンコーディング、および 2 つの知識注入パラダイムが含まれます。
具体的には、私たちの提案には 2 つの段階が含まれます。まず、2,000 万のテレ関連コーパスで TeleBERT を事前トレーニングし、次に 100 万の因果的および機械関連コーパスで再トレーニングして KTeleBERT を取得します。
根本原因分析、イベント関連付け予測、障害チェーン トレースなど、テレ アプリケーションの障害分析に関連する複数のタスクに関する評価では、テレ ドメイン データを使用した言語モデルの事前トレーニングがダウンストリーム タスクにとって有益であることを示しています。
さらに、KTeleBERT の再トレーニングは、タスク モデルのパフォーマンスをさらに向上させ、多様な遠隔知識をモデルに組み込むことの有効性を強調しています。

要約(オリジナル)

In this work, we share our experience on tele-knowledge pre-training for fault analysis, a crucial task in telecommunication applications that requires a wide range of knowledge normally found in both machine log data and product documents. To organize this knowledge from experts uniformly, we propose to create a Tele-KG (tele-knowledge graph). Using this valuable data, we further propose a tele-domain language pre-training model TeleBERT and its knowledge-enhanced version, a tele-knowledge re-training model KTeleBERT. which includes effective prompt hints, adaptive numerical data encoding, and two knowledge injection paradigms. Concretely, our proposal includes two stages: first, pre-training TeleBERT on 20 million tele-related corpora, and then re-training it on 1 million causal and machine-related corpora to obtain KTeleBERT. Our evaluation on multiple tasks related to fault analysis in tele-applications, including root-cause analysis, event association prediction, and fault chain tracing, shows that pre-training a language model with tele-domain data is beneficial for downstream tasks. Moreover, the KTeleBERT re-training further improves the performance of task models, highlighting the effectiveness of incorporating diverse tele-knowledge into the model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google