Interaction-Aware Prompting for Zero-Shot Spatio-Temporal Action Detection

要約

時空間アクション検出の目的は、ビデオ内で各人のアクションが発生する時間と場所を特定し、対応するアクション カテゴリを分類することです。
既存手法の多くは完全教師あり学習を採用しており、大量の学習データが必要となるため、ゼロショット学習を実現するのは非常に困難です。
この論文では、事前にトレーニングされた視覚言語モデルを利用して代表的な画像とテキストの特徴を抽出し、さまざまな対話モジュールを通じてこれらの特徴間の関係をモデル化して対話特徴を取得することを提案します。
さらに、この機能を使用して、各ラベルがより適切なテキスト特徴を取得するように促します。
最後に、各ラベルのインタラクション特徴とテキスト特徴の間の類似性を計算して、アクション カテゴリを決定します。
J-HMDB および UCF101-24 データセットでの実験では、提案されたインタラクション モジュールとプロンプトにより視覚言語の特徴がより適切に調整され、ゼロショットの時空間アクション検出の優れた精度が達成されることが実証されました。
コードは https://github.com/webber2933/iCLIP で入手できます。

要約(オリジナル)

The goal of spatial-temporal action detection is to determine the time and place where each person’s action occurs in a video and classify the corresponding action category. Most of the existing methods adopt fully-supervised learning, which requires a large amount of training data, making it very difficult to achieve zero-shot learning. In this paper, we propose to utilize a pre-trained visual-language model to extract the representative image and text features, and model the relationship between these features through different interaction modules to obtain the interaction feature. In addition, we use this feature to prompt each label to obtain more appropriate text features. Finally, we calculate the similarity between the interaction feature and the text feature for each label to determine the action category. Our experiments on J-HMDB and UCF101-24 datasets demonstrate that the proposed interaction module and prompting make the visual-language features better aligned, thus achieving excellent accuracy for zero-shot spatio-temporal action detection. The code will be available at https://github.com/webber2933/iCLIP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google