SADA: Semantic adversarial unsupervised domain adaptation for Temporal Action Localization

要約

Temporal Action Localization (TAL) は複雑なタスクであり、特に現実世界のアプリケーションで新しい (まだ見たことのない) ドメインを一般化しようとする場合に、関連する課題が生じます。
これらのシナリオは現実的であるにもかかわらず、文献では無視されることが多く、これらのソリューションは重大なパフォーマンス低下にさらされています。
この研究では、スパース TAL における教師なしドメイン アダプテーション (UDA) のアプローチを初めて導入することで、この問題に取り組みます。これを Semantic Adversarial unsupervised Domain Adaptation (SADA) と呼びます。
私たちの貢献は 3 つあります。(1) 現実的なスパース アクション検出ベンチマークに基づいて動作するドメイン適応モデルの開発を先駆的に行っています。
(2) ローカルクラス分布に敏感な新しい敵対的損失を導入することで、グローバル分布調整手法の限界に取り組み、よりきめ細かい適応を保証します。
(3) EpicKitchens100 と CharadesEgo に基づく、複数のドメインの移行を包括的な方法で評価する新しいベンチマークのセットを紹介します。
私たちの実験では、完全に監視された最先端のUDA手法や代替UDA手法と比較して、SADAがドメイン全体の適応を改善し、最大6.14%のmAPのパフォーマンス向上を達成することが示されました。

要約(オリジナル)

Temporal Action Localization (TAL) is a complex task that poses relevant challenges, particularly when attempting to generalize on new — unseen — domains in real-world applications. These scenarios, despite realistic, are often neglected in the literature, exposing these solutions to important performance degradation. In this work, we tackle this issue by introducing, for the first time, an approach for Unsupervised Domain Adaptation (UDA) in sparse TAL, which we refer to as Semantic Adversarial unsupervised Domain Adaptation (SADA). Our contributions are threefold: (1) we pioneer the development of a domain adaptation model that operates on realistic sparse action detection benchmarks; (2) we tackle the limitations of global-distribution alignment techniques by introducing a novel adversarial loss that is sensitive to local class distributions, ensuring finer-grained adaptation; and (3) we present a novel set of benchmarks based on EpicKitchens100 and CharadesEgo, that evaluate multiple domain shifts in a comprehensive manner. Our experiments indicate that SADA improves the adaptation across domains when compared to fully supervised state-of-the-art and alternative UDA methods, attaining a performance boost of up to 6.14% mAP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google