The ROAD to discovery: machine learning-driven anomaly detection in radio astronomy spectrograms

要約

電波望遠鏡の感度と柔軟性が高まるにつれて、その複雑さとデータ速度も向上します。
このため、望遠鏡の正常な動作を保証するために、自動化されたシステム健全性管理アプローチがますます重要になっています。
私たちは、電波望遠鏡で一般的に発生する異常と、システムがまだ発見していない可能性のある未知のまれな異常の両方を分類するための、新しい機械学習異常検出フレームワークを提案します。
私たちの手法を評価するために、低周波アレイ (LOFAR) 望遠鏡からの 7050 個の自己相関ベースのスペクトログラムからなるデータセットを提示し、望遠鏡操作者の観点からシステム全体の異常に関連する 10 の異なるラベルを割り当てます。
これには、電子的故障、校正ミス、太陽嵐、ネットワークおよびコンピューティング ハードウェアのエラーなどが含まれます。
我々は、コンテキスト予測と再構成損失の両方を利用する新しい自己教師あり学習 (SSL) パラダイムが、LOFAR 望遠鏡の通常の動作を学習するのにどのように効果的であるかを実証します。
私たちは、SSL ベースの異常検出と教師付き分類の両方を組み合わせたフレームワークである Radio Observatory Anomaly Detector (ROAD) を紹介します。これにより、一般的に発生する異常の分類と目に見えない異常の検出の両方が可能になります。
LOFAR データ処理パイプラインのコンテキストでシステムがリアルタイムであり、単一のスペクトログラムの処理に必要な時間が 1ms 未満であることを実証します。
さらに、ROAD は、誤検知率を約 2\% に維持しながら、異常検出 F-2 スコア 0.92 を獲得し、クラスごとの分類 F-2 スコアの平均 0.89 を達成し、他の関連研究を上回っています。

要約(オリジナル)

As radio telescopes increase in sensitivity and flexibility, so do their complexity and data-rates. For this reason automated system health management approaches are becoming increasingly critical to ensure nominal telescope operations. We propose a new machine learning anomaly detection framework for classifying both commonly occurring anomalies in radio telescopes as well as detecting unknown rare anomalies that the system has potentially not yet seen. To evaluate our method, we present a dataset consisting of 7050 autocorrelation-based spectrograms from the Low Frequency Array (LOFAR) telescope and assign 10 different labels relating to the system-wide anomalies from the perspective of telescope operators. This includes electronic failures, miscalibration, solar storms, network and compute hardware errors among many more. We demonstrate how a novel Self Supervised Learning (SSL) paradigm, that utilises both context prediction and reconstruction losses, is effective in learning normal behaviour of the LOFAR telescope. We present the Radio Observatory Anomaly Detector (ROAD), a framework that combines both SSL-based anomaly detection and a supervised classification, thereby enabling both classification of both commonly occurring anomalies and detection of unseen anomalies. We demonstrate that our system is real-time in the context of the LOFAR data processing pipeline, requiring <1ms to process a single spectrogram. Furthermore, ROAD obtains an anomaly detection F-2 score of 0.92 while maintaining a false positive rate of ~2\%, as well as a mean per-class classification F-2 score 0.89, outperforming other related works.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google