Exploiting Instance-based Mixed Sampling via Auxiliary Source Domain Supervision for Domain-adaptive Action Detection

要約

我々は、画像レベルの教師無し領域適応（UDA）技術の最近の進歩を活用し、インスタンスレベルのビデオデータの気まぐれを処理する新しい領域適応型行動検出アプローチと新しい適応プロトコルを提案する。自己学習と領域横断的な混合サンプリングの組み合わせは、UDA（教師なし領域適応）コンテキストにおけるセマンティックセグメンテーションにおいて顕著な性能向上を示している。この事実に動機付けられ、我々は、混合サンプリングと擬似ラベルベースの自己学習を用いて、ソースドメイン（注釈付きデータセット）からターゲットドメイン（未注釈データセット）に知識を転送する、動画中の人物行動検出のためのアプローチを提案する。既存のUDA技術は、セマンティックセグメンテーションのためにClassMixアルゴリズムに従っている。しかし、単純にClassMixを行動検出に採用してもうまくいかない。これは主に、ピクセルラベルの分類とインスタンスラベルの検出という、全く異なる2つの問題であるためである。この問題に取り組むため、我々は、アクションクラスではなく、アクションインスタンスに基づいてドメイン間で情報を結合する新しいアクションインスタンスミックスサンプリング手法を提案する。さらに、補助ソースドメイン（ASD）からの監視を用いることで、ロングテール標本分布とドメインシフトの問題に対処する新しいUDA学習プロトコルを提案する。ASDについては、フレームレベルのアノテーションが密な新しいアクション検出データセットを提案する。我々は提案するフレームワークをdomain-adaptive action instance mixing (DA-AIM)と命名する。我々は、DA-AIMが困難な領域適応ベンチマークにおいて、一貫して先行研究を上回ることを実証する。ソースコードは https://github.com/wwwfan628/DA-AIM で公開されている。

要約(オリジナル)

We propose a novel domain adaptive action detection approach and a new adaptation protocol that leverages the recent advancements in image-level unsupervised domain adaptation (UDA) techniques and handle vagaries of instance-level video data. Self-training combined with cross-domain mixed sampling has shown remarkable performance gain in semantic segmentation in UDA (unsupervised domain adaptation) context. Motivated by this fact, we propose an approach for human action detection in videos that transfers knowledge from the source domain (annotated dataset) to the target domain (unannotated dataset) using mixed sampling and pseudo-label-based selftraining. The existing UDA techniques follow a ClassMix algorithm for semantic segmentation. However, simply adopting ClassMix for action detection does not work, mainly because these are two entirely different problems, i.e., pixel-label classification vs. instance-label detection. To tackle this, we propose a novel action instance mixed sampling technique that combines information across domains based on action instances instead of action classes. Moreover, we propose a new UDA training protocol that addresses the long-tail sample distribution and domain shift problem by using supervision from an auxiliary source domain (ASD). For the ASD, we propose a new action detection dataset with dense frame-level annotations. We name our proposed framework as domain-adaptive action instance mixing (DA-AIM). We demonstrate that DA-AIM consistently outperforms prior works on challenging domain adaptation benchmarks. The source code is available at https://github.com/wwwfan628/DA-AIM.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL