Transformers for scientific data: a pedagogical review for astronomers

要約

ChatGPT および関連する生成 AI 製品に関連付けられた深層学習アーキテクチャは、トランスフォーマーとして知られています。
当初は自然言語処理に適用されたトランスフォーマーと、それが利用する自己注意メカニズムは、自然科学全体で幅広い関心を集めました。
この教育的かつ非公式なレビューの目的は、科学者に変圧器を紹介することです。
私たちの教育的かつ非公式なレビューには、注意メカニズムの基礎となる数学、元の変換器アーキテクチャの説明、天文学における時系列および画像データへの応用に関するセクションが含まれています。
生成 AI に興味があり、研究課題のためにトランスフォーマーを始めたいと考えている読者向けに、よくある質問セクションが含まれています。

要約(オリジナル)

The deep learning architecture associated with ChatGPT and related generative AI products is known as transformers. Initially applied to Natural Language Processing, transformers and the self-attention mechanism they exploit have gained widespread interest across the natural sciences. The goal of this pedagogical and informal review is to introduce transformers to scientists. Our pedagogical and informal review includes the mathematics underlying the attention mechanism, a description of the original transformer architecture, and a section on applications to time series and imaging data in astronomy. We include with a Frequently Asked Questions section for readers who are curious about generative AI and interested in getting started with transformers for their research problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google