CDFSL-V: Cross-Domain Few-Shot Learning for Videos

要約

少数ショットのビデオ アクション認識は、少数のラベル付きサンプルのみで新しいカテゴリを認識するための効果的なアプローチであり、それによって大規模なビデオ データセットの収集と注釈付けに関連する課題が軽減されます。
ビデオアクション認識の既存の方法は、同じドメインからの大規模なラベル付きデータセットに依存しています。
ただし、新しいカテゴリは、異なる空間的および時間的特性を持つ可能性のある異なるデータ ドメインから取得される可能性があるため、この設定は現実的ではありません。
ソース ドメインとターゲット ドメイン間のこの相違は重大な課題を引き起こす可能性があり、従来の数ショットのアクション認識技術が無効になってしまいます。
この問題に対処するために、この研究では、自己教師あり学習とカリキュラム学習を活用して、ソースドメインとターゲットドメインからの情報のバランスをとる、新しいクロスドメインの少数ショットビデオアクション認識方法を提案します。
特に、私たちの方法では、自己教師ありの方法でソース データとターゲット データの両方から学習するために、マスクされたオートエンコーダー ベースの自己教師ありトレーニング目標を採用しています。
次に、進歩的なカリキュラムにより、ソース データセットからの識別情報の学習と、ターゲット ドメインから学習した一般情報のバランスがとれます。
最初に、私たちのカリキュラムは教師あり学習を利用して、ソースデータからクラスの識別特徴を学習します。
トレーニングが進むにつれて、ターゲット ドメイン固有の機能の学習に移行します。
私たちは、ソースドメインのクラス識別教師付き特徴に基づいて、ターゲットドメインで豊富な特徴の出現を促進する進歩的なカリキュラムを提案します。
私たちはいくつかの挑戦的なベンチマーク データセットで私たちの手法を評価し、私たちのアプローチが既存のクロスドメインの少数ショット学習手法よりも優れていることを実証します。
私たちのコードは https://github.com/Sarinda251/CDFSL-V で入手できます。

要約(オリジナル)

Few-shot video action recognition is an effective approach to recognizing new categories with only a few labeled examples, thereby reducing the challenges associated with collecting and annotating large-scale video datasets. Existing methods in video action recognition rely on large labeled datasets from the same domain. However, this setup is not realistic as novel categories may come from different data domains that may have different spatial and temporal characteristics. This dissimilarity between the source and target domains can pose a significant challenge, rendering traditional few-shot action recognition techniques ineffective. To address this issue, in this work, we propose a novel cross-domain few-shot video action recognition method that leverages self-supervised learning and curriculum learning to balance the information from the source and target domains. To be particular, our method employs a masked autoencoder-based self-supervised training objective to learn from both source and target data in a self-supervised manner. Then a progressive curriculum balances learning the discriminative information from the source dataset with the generic information learned from the target domain. Initially, our curriculum utilizes supervised learning to learn class discriminative features from the source data. As the training progresses, we transition to learning target-domain-specific features. We propose a progressive curriculum to encourage the emergence of rich features in the target domain based on class discriminative supervised features in the source domain. We evaluate our method on several challenging benchmark datasets and demonstrate that our approach outperforms existing cross-domain few-shot learning techniques. Our code is available at https://github.com/Sarinda251/CDFSL-V

arxiv情報

提供元, 利用サービス

arxiv.jp, Google