Astroformer: More Data Might not be all you need for Classification

要約

【タイトル】Astroformer：分類に必要なものはすべてデータ量ではない

【要約】
– 自然言語処理やコンピュータビジョンなどの近年の進歩は、大量の未分類データを使用してトレーニングされた複雑で大規模なモデルに依存している。
– Astroformerは、データ量が少なくても学習する方法を提供するものであり、銀河形態を分類する効率的な方法が必要である。
– Astroformerは、コンボリューションネットワークとトランスフォーマーネットワークを混合したアーキテクチャーであり、新しいスタックの設計、相対自己注意層の異なる作成方法、およびデータ拡張および正則化技術の選択に関しても議論されている。
– Astroformerは、Galaxy10 DECalsデータセットの銀河形態の予測において94.86％のトップ-1精度を達成し、このタスクの最新の技術よりも4.62％高い最新の状態を達成している。
– Astroformerは、CIFAR-100およびTiny ImageNetでも新しい精度を達成している。
– Astroformerは、大規模なデータセットに対して使用されるモデルやトレーニング手法は、低データレジメにおいてはうまく機能しないことを示している。

要約(オリジナル)

Recent advancements in areas such as natural language processing and computer vision rely on intricate and massive models that have been trained using vast amounts of unlabelled or partly labeled data and training or deploying these state-of-the-art methods to resource constraint environments has been a challenge. Galaxy morphologies are crucial to understanding the processes by which galaxies form and evolve. Efficient methods to classify galaxy morphologies are required to extract physical information from modern-day astronomy surveys. In this paper, we introduce Astroformer, a method to learn from less amount of data. We propose using a hybrid transformer-convolutional architecture drawing much inspiration from the success of CoAtNet and MaxViT. Concretely, we use the transformer-convolutional hybrid with a new stack design for the network, a different way of creating a relative self-attention layer, and pair it with a careful selection of data augmentation and regularization techniques. Our approach sets a new state-of-the-art on predicting galaxy morphologies from images on the Galaxy10 DECals dataset, a science objective, which consists of 17736 labeled images achieving 94.86% top-$1$ accuracy, beating the current state-of-the-art for this task by 4.62%. Furthermore, this approach also sets a new state-of-the-art on CIFAR-100 and Tiny ImageNet. We also find that models and training methods used for larger datasets would often not work very well in the low-data regime.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI