Improving Weakly Supervised Temporal Action Localization by Bridging Train-Test Gap in Pseudo Labels

要約

タイトル：疑似ラベルについてのトレーニングとテストのギャップを埋めることで、弱く監視された時間的アクションのローカリゼーションを改善する

要約：
– 弱く監視された時間的アクションのローカリゼーションのタスクは、興味のあるアクションの時間的境界を生成し、同時にアクションのカテゴリも分類することを目的としています。
– 疑似ラベルに基づく方法は、最近広く研究されており、効果的な解決策となっています。
– ただし、既存の方法はトレーニング中に疑似ラベルを生成し、異なるパイプラインや設定でテスト中に予測を行うため、トレーニングとテストの間にギャップが生じます。
– この論文では、予測されたアクション境界から高品質の疑似ラベルを生成することを提案しています。
– 提案手法は、ガウス加重融合モジュールを使用して情報を保存し、高品質なアクション境界を獲得すること、アクションインスタンスの信頼スコアという制約の下で疑似ラベル生成を最適化問題として定式化すること、自己修正の能力を持つ$\Delta$疑似ラベルのアイデアを紹介することで、精度向上を達成しています。
– 提案手法は、THUMOS14とActivityNet1.3の2つのベンチマークで従来手法よりも優れた性能を発揮し、平均mAPでTHUMOS14で1.9％、ActivityNet1.3で3.7％の改善を達成しました。

要約(オリジナル)

The task of weakly supervised temporal action localization targets at generating temporal boundaries for actions of interest, meanwhile the action category should also be classified. Pseudo-label-based methods, which serve as an effective solution, have been widely studied recently. However, existing methods generate pseudo labels during training and make predictions during testing under different pipelines or settings, resulting in a gap between training and testing. In this paper, we propose to generate high-quality pseudo labels from the predicted action boundaries. Nevertheless, we note that existing post-processing, like NMS, would lead to information loss, which is insufficient to generate high-quality action boundaries. More importantly, transforming action boundaries into pseudo labels is quite challenging, since the predicted action instances are generally overlapped and have different confidence scores. Besides, the generated pseudo-labels can be fluctuating and inaccurate at the early stage of training. It might repeatedly strengthen the false predictions if there is no mechanism to conduct self-correction. To tackle these issues, we come up with an effective pipeline for learning better pseudo labels. Firstly, we propose a Gaussian weighted fusion module to preserve information of action instances and obtain high-quality action boundaries. Second, we formulate the pseudo-label generation as an optimization problem under the constraints in terms of the confidence scores of action instances. Finally, we introduce the idea of $\Delta$ pseudo labels, which enables the model with the ability of self-correction. Our method achieves superior performance to existing methods on two benchmarks, THUMOS14 and ActivityNet1.3, achieving gains of 1.9\% on THUMOS14 and 3.7\% on ActivityNet1.3 in terms of average mAP.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI