Transformers for scientific data: a pedagogical review for astronomers

要約

ChatGPT および関連する生成 AI 製品に関連付けられた深層学習アーキテクチャは、トランスフォーマーとして知られています。
当初は自然言語処理に適用されたトランスフォーマーと、それが利用する自己注意メカニズムは、自然科学全体で幅広い関心を集めました。
この教育的かつ非公式なレビューの目的は、科学者に変圧器を紹介することです。
このレビューには、アテンション メカニズムの基礎となる数学、元のトランスフォーマー アーキテクチャの説明、天文学における時系列データと画像データへの応用に関するセクションが含まれています。
生成 AI に興味がある読者、または研究課題のためにトランスフォーマーを始めたいと考えている読者向けに、よくある質問セクションが含まれています。

要約(オリジナル)

The deep learning architecture associated with ChatGPT and related generative AI products is known as transformers. Initially applied to Natural Language Processing, transformers and the self-attention mechanism they exploit have gained widespread interest across the natural sciences. The goal of this pedagogical and informal review is to introduce transformers to scientists. The review includes the mathematics underlying the attention mechanism, a description of the original transformer architecture, and a section on applications to time series and imaging data in astronomy. We include a Frequently Asked Questions section for readers who are curious about generative AI or interested in getting started with transformers for their research problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google