Dynamic Temporal Filtering in Video Models

要約

ビデオの時間ダイナミクスは、従来、3D 空間-時間カーネル、または 2D 空間カーネルと 1D 時間カーネルで構成されるその因数分解されたバージョンでモデル化されています。
ただし、モデリング能力は固定ウィンドウ サイズと時間次元に沿ったカーネルの静的重みによって制限されます。
事前に決定されたカーネル サイズは一時的な受容野を厳しく制限し、固定された重みはフレーム全体の各空間位置を均等に処理するため、自然シーンでの長期的な時間モデリングの次善のソリューションが得られます。
この論文では、時間的特徴学習の新しいレシピ、つまり動的時間的フィルター（DTF）を提示します。これは、大きな時間的受容野を持つ周波数領域で空間認識時間モデリングを新規に実行します。
具体的には、DTF は、すべての空間位置に特化した周波数フィルターを動的に学習して、その長期的な時間的ダイナミクスをモデル化します。
一方、各空間位置の時間的特徴も、1D 高速フーリエ変換 (FFT) を介して周波数特徴スペクトルに変換されます。
スペクトルは、学習した周波数フィルターによって変調され、逆 FFT を使用して時間領域に変換されます。
さらに、DTF での周波数フィルターの学習を容易にするために、フレーム単位の集約を実行して、フレーム間相関によって、主要な時間的特徴をその時間的近傍と強化します。
DTF ブロックを ConvNets と Transformer にプラグインして、DTF-Net と DTF-Transformer を生成できます。
3 つのデータセットに対して実施された広範な実験により、提案の優位性が実証されました。
さらに驚くべきことに、DTF-Transformer は Kinetics-400 データセットで 83.5% の精度を達成しています。
ソース コードは、\url{https://github.com/FuchenUSTC/DTF} で入手できます。

要約(オリジナル)

Video temporal dynamics is conventionally modeled with 3D spatial-temporal kernel or its factorized version comprised of 2D spatial kernel and 1D temporal kernel. The modeling power, nevertheless, is limited by the fixed window size and static weights of a kernel along the temporal dimension. The pre-determined kernel size severely limits the temporal receptive fields and the fixed weights treat each spatial location across frames equally, resulting in sub-optimal solution for long-range temporal modeling in natural scenes. In this paper, we present a new recipe of temporal feature learning, namely Dynamic Temporal Filter (DTF), that novelly performs spatial-aware temporal modeling in frequency domain with large temporal receptive field. Specifically, DTF dynamically learns a specialized frequency filter for every spatial location to model its long-range temporal dynamics. Meanwhile, the temporal feature of each spatial location is also transformed into frequency feature spectrum via 1D Fast Fourier Transform (FFT). The spectrum is modulated by the learnt frequency filter, and then transformed back to temporal domain with inverse FFT. In addition, to facilitate the learning of frequency filter in DTF, we perform frame-wise aggregation to enhance the primary temporal feature with its temporal neighbors by inter-frame correlation. It is feasible to plug DTF block into ConvNets and Transformer, yielding DTF-Net and DTF-Transformer. Extensive experiments conducted on three datasets demonstrate the superiority of our proposals. More remarkably, DTF-Transformer achieves an accuracy of 83.5% on Kinetics-400 dataset. Source code is available at \url{https://github.com/FuchenUSTC/DTF}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google