Unsupervised Video Domain Adaptation with Masked Pre-Training and Collaborative Self-Training

要約

この研究では、ビデオアクション認識のための教師なしドメイン適応 (UDA) の問題に取り組みます。
UNITE と呼ばれる私たちのアプローチは、画像教師モデルを使用してビデオ生徒モデルをターゲット領域に適応させます。
UNITE はまず、自己教師ありの事前トレーニングを採用し、教師指導によるマスク蒸留目標を使用して、ターゲット ドメインのビデオでの識別特徴学習を促進します。
次に、ビデオ生徒モデルと画像教師モデルを一緒に使用して、マスクされたターゲット データに対して自己トレーニングを実行し、ラベルのないターゲットビデオに対して改良された疑似ラベルを生成します。
当社のセルフトレーニング プロセスは、両方のモデルの長所をうまく活用して、ドメイン間で強力な転送パフォーマンスを実現します。
私たちは複数のビデオ ドメイン アダプテーション ベンチマークでアプローチを評価し、以前に報告された結果から大幅な改善が見られました。

要約(オリジナル)

In this work, we tackle the problem of unsupervised domain adaptation (UDA) for video action recognition. Our approach, which we call UNITE, uses an image teacher model to adapt a video student model to the target domain. UNITE first employs self-supervised pre-training to promote discriminative feature learning on target domain videos using a teacher-guided masked distillation objective. We then perform self-training on masked target data, using the video student model and image teacher model together to generate improved pseudolabels for unlabeled target videos. Our self-training process successfully leverages the strengths of both models to achieve strong transfer performance across domains. We evaluate our approach on multiple video domain adaptation benchmarks and observe significant improvements upon previously reported results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google