Finding Strong Gravitational Lenses Through Self-Attention

要約

LSST のような今後の大規模な調査では、現代の天文調査のデータよりも桁違いに大きいデータを分析することにより、約 $10^5$ の強力な重力レンズを見つけることが期待されています。
この場合、自動化されていない手法は、たとえそれが可能であったとしても、非常に困難で時間がかかります。
強力な重力レンズを見つけるために、自己注意の原則に基づく新しい自動化されたアーキテクチャを提案します。
畳み込みニューラル ネットワークに対する自己注意ベースのエンコーダ モデルの利点が調査され、エンコーダ モデルの結果を最適化する方法が分析されます。
ボローニャレンズチャレンジから重力レンズを識別するために、21の自己注意ベースのエンコーダーモデルと5つの畳み込みニューラルネットワークを構築およびトレーニングしました。
各モデルは、18,000 のシミュレートされた画像を使用して個別にトレーニングされ、2,000 の画像を使用して相互検証され、100,000 の画像を含むテスト セットに適用されました。
評価には、分類精度、受信者動作特性曲線下面積 (AUROC)、TPR$_0$ スコア、TPR$_{10}$ スコアの 4 つの異なる指標を使用しました。
チャレンジに参加している自己注意ベースのエンコーダ モデルと CNN のパフォーマンスが比較されます。
Bologna Lens Challenge に参加した CNN モデルを TPR$_0$ と TPR_${10}$ で大幅に上回ることができました。
Self-Attention ベースのモデルには、単純な CNN と比較して明らかな利点があります。
それらは、現在使用されている残差ニューラル ネットワークと比較して、非常に競合するパフォーマンスを持っています。
CNN と比較して、自己注意ベースのモデルは、信頼性の高いレンズ候補を特定でき、実際のデータから潜在的な候補を除外できます。
さらに、エンコーダーレイヤーを導入すると、効果的なフィルターとして機能することで、CNN に存在する過適合の問題に対処することもできます。

要約(オリジナル)

The upcoming large scale surveys like LSST are expected to find approximately $10^5$ strong gravitational lenses by analysing data of many orders of magnitude larger than those in contemporary astronomical surveys. In this case, non-automated techniques will be highly challenging and time-consuming, even if they are possible at all. We propose a new automated architecture based on the principle of self-attention to find strong gravitational lenses. The advantages of self-attention-based encoder models over convolution neural networks are investigated, and ways to optimise the outcome of encoder models are analysed. We constructed and trained 21 self-attention based encoder models and five convolution neural networks to identify gravitational lenses from the Bologna Lens Challenge. Each model was trained separately using 18,000 simulated images, cross-validated using 2,000 images, and then applied to a test set with 100,000 images. We used four different metrics for evaluation: classification accuracy, area under the receiver operating characteristic curve (AUROC), the TPR$_0$ score and the TPR$_{10}$ score. The performances of self-attention-based encoder models and CNNs participating in the challenge are compared. They were able to surpass the CNN models that participated in the Bologna Lens Challenge by a high margin for the TPR$_0$ and TPR_${10}$. Self-Attention based models have clear advantages compared to simpler CNNs. They have highly competing performance in comparison to the currently used residual neural networks. Compared to CNNs, self-attention based models can identify highly confident lensing candidates and will be able to filter out potential candidates from real data. Moreover, introducing the encoder layers can also tackle the over-fitting problem present in the CNNs by acting as effective filters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google