Novelty Detection on Radio Astronomy Data using Signatures

要約

ストリーミング データの異常を検出するための新しい半教師ありフレームワークである SigNova を紹介します。
最初の例では、電波天文学の分野におけるデジタル化された信号の無線周波数干渉 (RFI) の検出に焦点を当てていますが、SigNova の適用範囲はあらゆる種類のストリーミング データに拡張されることに注意することが重要です。
フレームワークは 3 つの主要コンポーネントで構成されます。
まず、シグネチャ変換を使用して、観測シーケンスから要約統計量の標準的なコレクションを抽出します。
これにより、可変長の可視性サンプルを有限次元の特徴ベクトルとして表現できるようになります。
次に、各特徴ベクトルには、RFI フリーのトレーニング セット内の最近傍とのマハラノビス距離として計算される新規性スコアが割り当てられます。
これらのスコアを閾値処理することにより、厳密な分布仮定に依存することなく、RFI のない可視性サンプルの予想される動作から逸脱する観測範囲を特定します。
第三に、この異常検出器をセグメンテーション アルゴリズムである Pysegments と統合して、RFI で汚染された連続観測があればその位置を特定します。
このアプローチは、RFI 検出に一般的に使用される従来のウィンドウ処理手法に代わる強力な代替手段を提供します。
重要なのは、アルゴリズムの複雑さは観察ウィンドウのサイズではなく、RFI パターンに依存するということです。
私たちは、SigNova が時間周波数可視性データにおけるさまざまなタイプの RFI (広帯域および狭帯域など) の検出をどのように改善するかを示します。
私たちは、マーチソン広視野アレイ (MWA) 望遠鏡、シミュレートされたデータ、および再電離アレイの水素時代 (HERA) に関するフレームワークを検証します。

要約(オリジナル)

We introduce SigNova, a new semi-supervised framework for detecting anomalies in streamed data. While our initial examples focus on detecting radio-frequency interference (RFI) in digitized signals within the field of radio astronomy, it is important to note that SigNova’s applicability extends to any type of streamed data. The framework comprises three primary components. Firstly, we use the signature transform to extract a canonical collection of summary statistics from observational sequences. This allows us to represent variable-length visibility samples as finite-dimensional feature vectors. Secondly, each feature vector is assigned a novelty score, calculated as the Mahalanobis distance to its nearest neighbor in an RFI-free training set. By thresholding these scores we identify observation ranges that deviate from the expected behavior of RFI-free visibility samples without relying on stringent distributional assumptions. Thirdly, we integrate this anomaly detector with Pysegments, a segmentation algorithm, to localize consecutive observations contaminated with RFI, if any. This approach provides a compelling alternative to classical windowing techniques commonly used for RFI detection. Importantly, the complexity of our algorithm depends on the RFI pattern rather than on the size of the observation window. We demonstrate how SigNova improves the detection of various types of RFI (e.g., broadband and narrowband) in time-frequency visibility data. We validate our framework on the Murchison Widefield Array (MWA) telescope and simulated data and the Hydrogen Epoch of Reionization Array (HERA).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google