DiffTAD: Temporal Action Detection with Proposal Denoising Diffusion

要約

我々は、ノイズ除去拡散を備えた時間的アクション検出 (TAD) の新しい定式化、略して DiffTAD を提案します。
入力としてランダムな時間的提案を受け取り、トリミングされていない長いビデオから正確にアクション提案を生成できます。
これは、これまでの差別的な学習方法に対して、生成モデリングの観点を提示します。
この機能は、最初にグラウンドトゥルースの提案をランダムなものに拡散し（つまり、順方向/ノイズ処理）、次にノイズ処理を逆方向に学習する（つまり、逆方向/ノイズ除去プロセス）ことによって実現されます。
具体的には、トレーニングにおける収束がより速い時間的位置クエリ設計を導入することにより、Transformer デコーダ (DETR など) でのノイズ除去プロセスを確立します。
さらに、推論を加速するためのクロスステップ選択的条件付けアルゴリズムを提案します。
ActivityNet および THUMOS での広範な評価により、当社の DiffTAD が従来技術の代替品と比較して最高のパフォーマンスを達成していることが示されています。
コードは https://github.com/sauradip/DiffusionTAD で公開されます。

要約(オリジナル)

We propose a new formulation of temporal action detection (TAD) with denoising diffusion, DiffTAD in short. Taking as input random temporal proposals, it can yield action proposals accurately given an untrimmed long video. This presents a generative modeling perspective, against previous discriminative learning manners. This capability is achieved by first diffusing the ground-truth proposals to random ones (i.e., the forward/noising process) and then learning to reverse the noising process (i.e., the backward/denoising process). Concretely, we establish the denoising process in the Transformer decoder (e.g., DETR) by introducing a temporal location query design with faster convergence in training. We further propose a cross-step selective conditioning algorithm for inference acceleration. Extensive evaluations on ActivityNet and THUMOS show that our DiffTAD achieves top performance compared to previous art alternatives. The code will be made available at https://github.com/sauradip/DiffusionTAD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google