Distilling Knowledge from CNN-Transformer Models for Enhanced Human Action Recognition

要約

この論文では、知識の蒸留と CNN モデルと ViT モデルの組み合わせを利用して人間の行動認識を向上させる研究を紹介します。
この研究は、大規模な教師モデルから知識を移転することで、小規模な生徒モデルのパフォーマンスと効率を向上させることを目的としています。
提案された方法では、生徒モデルとして Transformer ビジョン ネットワークが使用され、教師モデルとして畳み込みネットワークが機能します。
教師モデルは局所的な画像特徴を抽出しますが、学生モデルは注意メカニズムを使用して全体的な特徴に焦点を当てます。
Vision Transformer (ViT) アーキテクチャは、画像内のグローバルな依存関係をキャプチャするための堅牢なフレームワークとして導入されています。
さらに、ViT の高度なバリアント、つまり PVT、Convit、MVIT、Swin Transformer、および Twins について説明し、コンピューター ビジョン タスクへの貢献を強調します。
ConvNeXt モデルは、コンピュータ ビジョンにおける効率性と有効性で知られる教師モデルとして導入されています。
この論文では、スタンフォード 40 データセットにおける人間の行動認識のパフォーマンス結果を示し、知識蒸留を使用してトレーニングした学生モデルと知識蒸留なしでトレーニングした学生モデルの精度と mAP を比較しています。
この調査結果は、通常の設定でのトレーニング ネットワークと比較して、提案されたアプローチにより精度と mAP が大幅に向上することを示しています。
これらの発見は、行動認識タスクにおいてローカルな特徴とグローバルな特徴を組み合わせる可能性を強調しています。

要約(オリジナル)

This paper presents a study on improving human action recognition through the utilization of knowledge distillation, and the combination of CNN and ViT models. The research aims to enhance the performance and efficiency of smaller student models by transferring knowledge from larger teacher models. The proposed method employs a Transformer vision network as the student model, while a convolutional network serves as the teacher model. The teacher model extracts local image features, whereas the student model focuses on global features using an attention mechanism. The Vision Transformer (ViT) architecture is introduced as a robust framework for capturing global dependencies in images. Additionally, advanced variants of ViT, namely PVT, Convit, MVIT, Swin Transformer, and Twins, are discussed, highlighting their contributions to computer vision tasks. The ConvNeXt model is introduced as a teacher model, known for its efficiency and effectiveness in computer vision. The paper presents performance results for human action recognition on the Stanford 40 dataset, comparing the accuracy and mAP of student models trained with and without knowledge distillation. The findings illustrate that the suggested approach significantly improves the accuracy and mAP when compared to training networks under regular settings. These findings emphasize the potential of combining local and global features in action recognition tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google