Unsupervised Domain Adaptation for Video Transformers in Action Recognition

要約

過去数年間で、教師なしドメイン適応（UDA）技術は、コンピュータービジョンにおいて驚くべき重要性と人気を獲得してきました。
ただし、画像で利用できる広範な文献と比較すると、ビデオの分野はまだ比較的未踏です。
一方、行動認識におけるモデルのパフォーマンスは、ドメインシフトの影響を大きく受けます。
この論文では、ビデオアクション認識のためのシンプルで斬新なUDAアプローチを提案します。
私たちのアプローチは、時空間トランスフォーマーの最近の進歩を活用して、ターゲットドメインによりよく一般化する堅牢なソースモデルを構築します。
さらに、私たちのアーキテクチャは、情報ボトルネックの原則から派生した新しいアライメント損失項の導入のおかげで、ドメイン不変の機能を学習します。
UDAの2つのビデオアクション認識ベンチマークの結果を報告します。HMDB$\leftrightarrow $ UCFと、より挑戦的なKinetics $ \ rightarrow$NEC-Droneでの最先端のパフォーマンスを示しています。
これは、さまざまなレベルのドメインシフトを処理する際の私たちの方法の有効性を示しています。
ソースコードはhttps://github.com/vturrisi/UDAVTで入手できます。

要約(オリジナル)

Over the last few years, Unsupervised Domain Adaptation (UDA) techniques have acquired remarkable importance and popularity in computer vision. However, when compared to the extensive literature available for images, the field of videos is still relatively unexplored. On the other hand, the performance of a model in action recognition is heavily affected by domain shift. In this paper, we propose a simple and novel UDA approach for video action recognition. Our approach leverages recent advances on spatio-temporal transformers to build a robust source model that better generalises to the target domain. Furthermore, our architecture learns domain invariant features thanks to the introduction of a novel alignment loss term derived from the Information Bottleneck principle. We report results on two video action recognition benchmarks for UDA, showing state-of-the-art performance on HMDB$\leftrightarrow$UCF, as well as on Kinetics$\rightarrow$NEC-Drone, which is more challenging. This demonstrates the effectiveness of our method in handling different levels of domain shift. The source code is available at https://github.com/vturrisi/UDAVT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google