A Versatile Framework for Analyzing Galaxy Image Data by Implanting Human-in-the-loop on a Large Vision Model

要約

天文データセットの指数関数的な増加は、人類に宇宙についての洞察を得る前例のない機会を提供します。
ただし、この膨大な量のデータを効果的に分析するには、大きな課題が生じます。
天文学者はこれに対処するためにディープラーニング技術に注目していますが、その方法は特定のトレーニングセットによって制限されており、かなりの重複したワークロードも発生します。
したがって、問題を克服する方法を示す例として、銀河形態学的分類、画像復元、物体検出を含む下流タスク (DST) とラージ ビジョン モデル (LVM) に基づいて、銀河画像の一般的な分析のためのフレームワークを構築しました。
、パラメータ抽出など。
銀河画像の低い信号対雑音比と銀河カテゴリの不均衡な分布を考慮して、人間の知識を活用して信頼性と信頼性を向上させるヒューマンインザループ (HITL) モジュールを大規模視覚モデルに組み込みました。
銀河画像をインタラクティブに処理する際の解釈可能性。
提案されたフレームワークは、注目すべき少数ショット学習機能と、DESI レガシー画像調査における銀河画像に関する前述のすべてのタスクに対する多用途の適応性を示します。
特に、1,000 個のデータ ポイントでトレーニングされた物体検出の場合、LVM 上の DST は 96.7% の精度を達成し、ResNet50 とマスク R-CNN では 93.1% の精度が得られます。
形態分類の場合、AUC ~0.9 を取得するには、LVM と DST および HITL は、ResNet18 と比較して 1/50 のトレーニング セットのみを要求します。
マルチモーダルデータも同様に統合できることが期待されており、これにより、マルチメッセージ天文学の時代に多様なドメインにまたがるデータセットを使用して共同解析を行う可能性が開かれます。

要約(オリジナル)

The exponential growth of astronomical datasets provides an unprecedented opportunity for humans to gain insight into the Universe. However, effectively analyzing this vast amount of data poses a significant challenge. Astronomers are turning to deep learning techniques to address this, but the methods are limited by their specific training sets, leading to considerable duplicate workloads too. Hence, as an example to present how to overcome the issue, we built a framework for general analysis of galaxy images, based on a large vision model (LVM) plus downstream tasks (DST), including galaxy morphological classification, image restoration, object detection, parameter extraction, and more. Considering the low signal-to-noise ratio of galaxy images and the imbalanced distribution of galaxy categories, we have incorporated a Human-in-the-loop (HITL) module into our large vision model, which leverages human knowledge to enhance the reliability and interpretability of processing galaxy images interactively. The proposed framework exhibits notable few-shot learning capabilities and versatile adaptability to all the abovementioned tasks on galaxy images in the DESI legacy imaging surveys. Expressly, for object detection, trained by 1000 data points, our DST upon the LVM achieves an accuracy of 96.7%, while ResNet50 plus Mask R-CNN gives an accuracy of 93.1%; for morphology classification, to obtain AUC ~0.9, LVM plus DST and HITL only requests 1/50 training sets compared to ResNet18. Expectedly, multimodal data can be integrated similarly, which opens up possibilities for conducting joint analyses with datasets spanning diverse domains in the era of multi-message astronomy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google