CNNtention: Can CNNs do better with Attention?

要約

畳み込みニューラル ネットワーク (CNN) は長い間画像分類タスクの標準でしたが、最近では注意ベースのメカニズムが注目を集めています。
このプロジェクトは、画像分類タスク全体で従来の CNN と注意を強化した CNN を比較することを目的としています。
このプロジェクトでは、パフォーマンス、精度、計算効率を評価および比較することで、従来の CNN の局所的な特徴抽出と、アテンション強化 CNN におけるグローバル コンテキストのキャプチャの利点とトレードオフを明らかにします。
これにより、それぞれの長所と短所についてのさらなる洞察を明らかにし、特定のアプリケーションのニーズに基づいてモデルの選択をガイドし、最終的にはディープ ラーニング コミュニティにおけるこれらのアーキテクチャの理解を高めることができます。
これは、ジョージア工科大学の CS7643 深層学習コースの最後のプロジェクトでした。

要約(オリジナル)

Convolutional Neural Networks (CNNs) have been the standard for image classification tasks for a long time, but more recently attention-based mechanisms have gained traction. This project aims to compare traditional CNNs with attention-augmented CNNs across an image classification task. By evaluating and comparing their performance, accuracy and computational efficiency, the project will highlight benefits and trade-off of the localized feature extraction of traditional CNNs and the global context capture in attention-augmented CNNs. By doing this, we can reveal further insights into their respective strengths and weaknesses, guide the selection of models based on specific application needs and ultimately, enhance understanding of these architectures in the deep learning community. This was our final project for CS7643 Deep Learning course at Georgia Tech.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google