Team VI-I2R Technical Report on EPIC-KITCHENS-100 Unsupervised Domain Adaptation Challenge for Action Recognition 2021

要約

このレポートでは、アクション認識のためのEPIC-KITCHENS-100教師なしドメイン適応（UDA）チャレンジへのアプローチの技術的な詳細を示します。
EPIC-KITCHENS-100データセットは、人間の手とその周囲のオブジェクトとの相互作用に焦点を当てた毎日のキッチンアクティビティで構成されています。
特にラベルのないターゲットドメインでは、気を散らすオブジェクトや視覚的に類似したアクションクラスが存在するため、これらのきめ細かいアクティビティを正確に認識することは非常に困難です。
ビデオドメイン適応の既存の方法、すなわちTA3Nに基づいて、きめ細かい行動認識でUDAの手バウンディングボックス情報を活用することにより、手中心の機能を学習することを提案します。
これは、バックグラウンドからの注意散漫を減らすだけでなく、ドメイン不変の機能の学習を容易にするのに役立ちます。
高品質の手のローカリゼーションを実現するために、不確実性を意識したドメイン適応ネットワーク、つまりMEAAを採用して、ドメイン適応型の手の検出器をトレーニングします。
ターゲットドメイン。
私たちの提出物は、入力としてRGBとオプティカルフローのモダリティのみを使用して、トップ1のアクション認識精度の点で1位を達成しました。

要約(オリジナル)

In this report, we present the technical details of our approach to the EPIC-KITCHENS-100 Unsupervised Domain Adaptation (UDA) Challenge for Action Recognition. The EPIC-KITCHENS-100 dataset consists of daily kitchen activities focusing on the interaction between human hands and their surrounding objects. It is very challenging to accurately recognize these fine-grained activities, due to the presence of distracting objects and visually similar action classes, especially in the unlabelled target domain. Based on an existing method for video domain adaptation, i.e., TA3N, we propose to learn hand-centric features by leveraging the hand bounding box information for UDA on fine-grained action recognition. This helps reduce the distraction from background as well as facilitate the learning of domain-invariant features. To achieve high quality hand localization, we adopt an uncertainty-aware domain adaptation network, i.e., MEAA, to train a domain-adaptive hand detector, which only uses very limited hand bounding box annotations in the source domain but can generalize well to the unlabelled target domain. Our submission achieved the 1st place in terms of top-1 action recognition accuracy, using only RGB and optical flow modalities as input.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google