Machine Learning for Brain Disorders: Transformers and Visual Transformers

要約

トランスフォーマーは当初、自然言語処理 (NLP) タスクのために導入されましたが、コンピューター ビジョンを含むほとんどの深層学習分野で急速に採用されました。
これらは、注意と呼ばれる入力トークンのペア (テキスト文字列の場合は単語、ビジュアル トランスフォーマーの場合は画像の一部) 間の関係を測定します。
コストは、トークンの数に比例します。
画像分類の場合、最も一般的な Transformer アーキテクチャは、さまざまな入力トークンを変換するために Transformer Encoder のみを使用します。
ただし、従来の Transformer アーキテクチャのデコーダ部分も使用されているアプリケーションは他にも多数あります。
ここでは、最初に Attention メカニズム (セクション 1) を紹介し、次にビジョン トランスフォーマーを含む基本的なトランスフォーマー ブロック (セクション 2) を紹介します。
次に、小さなデータセットまたは計算量の削減を考慮して、ビジュアル トランスフォーマーを改善する方法について説明します (セクション 3)。
最後に、検出、セグメンテーション、生成、ラベルなしのトレーニングなどの画像分類以外のタスクに適用されるビジュアル トランスフォーマー (セクション 4) や、テキストまたはオーディオ データを使用したビデオまたはマルチモダリティ (セクション 5) などの他のドメインに適用されるビジュアル トランスフォーマーを紹介します。

要約(オリジナル)

Transformers were initially introduced for natural language processing (NLP) tasks, but fast they were adopted by most deep learning fields, including computer vision. They measure the relationships between pairs of input tokens (words in the case of text strings, parts of images for visual Transformers), termed attention. The cost is exponential with the number of tokens. For image classification, the most common Transformer Architecture uses only the Transformer Encoder in order to transform the various input tokens. However, there are also numerous other applications in which the decoder part of the traditional Transformer Architecture is also used. Here, we first introduce the Attention mechanism (Section 1), and then the Basic Transformer Block including the Vision Transformer (Section 2). Next, we discuss some improvements of visual Transformers to account for small datasets or less computation(Section 3). Finally, we introduce Visual Transformers applied to tasks other than image classification, such as detection, segmentation, generation and training without labels (Section 4) and other domains, such as video or multimodality using text or audio data (Section 5).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google