Convex Combination Consistency between Neighbors for Weakly-supervised Action Localization

要約

弱教師付き時間行動定位（Weakly-supervised temporal action localization：WTAL）は、ビデオレベルのラベルなど、弱い監視のみで行動インスタンスを検出することを意図している。現在の～textit{de facto}パイプラインは、時間クラス活性化シーケンス上の連続的な高スコア領域を閾値処理してグループ化することで、アクションインスタンスを検出する。このルートでは、隣接するスニペット間の関係を認識するモデルの能力が、アクション境界の品質を決定する極めて重要である。しかし、隣接するスニペット間の変化は一般的に微妙であるため、誤差が生じやすく、残念ながら文献ではこの点が見落とされている。この問題に取り組むため、我々はConvex Combination Consistency between Neighbors (C$^3$BN)と名付けた新しいWTALアプローチを提案する。C$^3$BNは2つの重要な要素から構成される：隣接するスニペットの凸結合により、隣接するスニペット間の多様性を増加させるミクロデータ増強戦略と、ビデオのセマンティクス、スニペット予測、スニペット表現の変換に対してモデルが不変であることを強制するマクロ-ミクロ一貫性正則化。その結果、隣接するスニペット間のきめ細かなパターンが探索されるようになり、よりロバストな行動境界の定位が得られる。実験結果は、ビデオレベルとポイントレベルのスーパービジョンを持つWTALのための様々なベースラインの上にC$^3$BNの有効性を実証する。コードはhttps://github.com/Qinying-Liu/C3BN。

要約(オリジナル)

Weakly-supervised temporal action localization (WTAL) intends to detect action instances with only weak supervision, e.g., video-level labels. The current~\textit{de facto} pipeline locates action instances by thresholding and grouping continuous high-score regions on temporal class activation sequences. In this route, the capacity of the model to recognize the relationships between adjacent snippets is of vital importance which determines the quality of the action boundaries. However, it is error-prone since the variations between adjacent snippets are typically subtle, and unfortunately this is overlooked in the literature. To tackle the issue, we propose a novel WTAL approach named Convex Combination Consistency between Neighbors (C$^3$BN). C$^3$BN consists of two key ingredients: a micro data augmentation strategy that increases the diversity in-between adjacent snippets by convex combination of adjacent snippets, and a macro-micro consistency regularization that enforces the model to be invariant to the transformations~\textit{w.r.t.} video semantics, snippet predictions, and snippet representations. Consequently, fine-grained patterns in-between adjacent snippets are enforced to be explored, thereby resulting in a more robust action boundary localization. Experimental results demonstrate the effectiveness of C$^3$BN on top of various baselines for WTAL with video-level and point-level supervisions. Code is at https://github.com/Qinying-Liu/C3BN.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL