On the Transferability of Visual Features in Generalized Zero-Shot Learning

要約

Generalized Zero-Shot Learning (GZSL) は、一連の属性を補助情報として使用し、事前にトレーニングされた畳み込みニューラル ネットワークから抽出された視覚的特徴を使用して、目に見えないクラスに一般化できる分類器をトレーニングすることを目的としています。
最近の GZSL メソッドでは、これらの機能の能力を活用するためのさまざまな手法が調査されていますが、探索されていない表現学習手法が大幅に増加しています。
この作業では、さまざまな特徴抽出器を使用する場合のさまざまな GZSL メソッドの有用性を調査し、これらのモデルの事前トレーニングの目的、データセット、およびアーキテクチャ設計が特徴表現能力にどのように影響するかを調べます。
私たちの結果は、1）GZSLの生成コンポーネントを使用する方法は、最近の特徴抽出器を使用するとより多くの利点を提供することを示しています。
2) 自己教師あり学習目標と知識蒸留を使用して事前トレーニングされた特徴抽出器は、より優れた特徴表現を提供し、最近の GZSL 技術と併用すると最大 15% のパフォーマンスが向上します。
3) 大規模なデータセットで事前トレーニングされた特定の特徴抽出器が、必ずしも GZSL メソッドのパフォーマンスを向上させるとは限りません。
さらに、強力なゼロ ショット パフォーマンスを備えた最新のマルチモーダル事前トレーニング モデルである CLIP に対して、GZSL メソッドがどのように機能するかを調査します。
GZSL タスクは、生成ベースの GZSL メソッドと CLIP のインターネット規模の事前トレーニングの恩恵を受けて、きめの細かいデータセットで最先端のパフォーマンスを達成できることがわかりました。
ここで、GZSL の表現学習の問題を分析するためのモジュラー フレームワークをリリースします: https://github.com/uvavision/TV-GZSL

要約(オリジナル)

Generalized Zero-Shot Learning (GZSL) aims to train a classifier that can generalize to unseen classes, using a set of attributes as auxiliary information, and the visual features extracted from a pre-trained convolutional neural network. While recent GZSL methods have explored various techniques to leverage the capacity of these features, there has been an extensive growth of representation learning techniques that remain under-explored. In this work, we investigate the utility of different GZSL methods when using different feature extractors, and examine how these models’ pre-training objectives, datasets, and architecture design affect their feature representation ability. Our results indicate that 1) methods using generative components for GZSL provide more advantages when using recent feature extractors; 2) feature extractors pre-trained using self-supervised learning objectives and knowledge distillation provide better feature representations, increasing up to 15% performance when used with recent GZSL techniques; 3) specific feature extractors pre-trained with larger datasets do not necessarily boost the performance of GZSL methods. In addition, we investigate how GZSL methods fare against CLIP, a more recent multi-modal pre-trained model with strong zero-shot performance. We found that GZSL tasks still benefit from generative-based GZSL methods along with CLIP’s internet-scale pre-training to achieve state-of-the-art performance in fine-grained datasets. We release a modular framework for analyzing representation learning issues in GZSL here: https://github.com/uvavision/TV-GZSL

arxiv情報

提供元, 利用サービス

arxiv.jp, Google