Don’t Judge by the Look: A Motion Coherent Augmentation for Video Recognition

要約

物体認識における現在のトレーニング パイプラインでは、分類に有害な外観の変化をもたらすだけでなく、実装が実際には非効率であるため、データ拡張を行う際に色相ジッタリングが無視されます。
この研究では、ビデオ認識のコンテキストにおける色相の差異の影響を調査し、動き情報を含むビデオでは静的な外観はそれほど重要ではないため、この差異が有益であることがわかりました。
この観察に基づいて、モーション コヒーレント拡張 (MCA) と呼ばれるビデオ認識用のデータ拡張方法を提案します。これは、ビデオに外観の変動を導入し、モデルが静的な外観ではなく動きのパターンを優先することを暗黙的に促進します。
具体的には、ビデオサンプルの外観を効率的に変更する操作 SwapMix を提案し、SwapMix によって引き起こされる分布シフトを解決するバリエーション アライメント (VA) を導入して、モデルに外観の不変表現を学習させるようにします。
さまざまなアーキテクチャとさまざまなデータセットにわたる包括的な経験的評価により、MCA の有効性と一般化能力、および他の拡張手法における VA の適用が確実に検証されます。
コードは https://github.com/BeSpontaneous/MCA-pytorch で入手できます。

要約(オリジナル)

Current training pipelines in object recognition neglect Hue Jittering when doing data augmentation as it not only brings appearance changes that are detrimental to classification, but also the implementation is inefficient in practice. In this study, we investigate the effect of hue variance in the context of video recognition and find this variance to be beneficial since static appearances are less important in videos that contain motion information. Based on this observation, we propose a data augmentation method for video recognition, named Motion Coherent Augmentation (MCA), that introduces appearance variation in videos and implicitly encourages the model to prioritize motion patterns, rather than static appearances. Concretely, we propose an operation SwapMix to efficiently modify the appearance of video samples, and introduce Variation Alignment (VA) to resolve the distribution shift caused by SwapMix, enforcing the model to learn appearance invariant representations. Comprehensive empirical evaluation across various architectures and different datasets solidly validates the effectiveness and generalization ability of MCA, and the application of VA in other augmentation methods. Code is available at https://github.com/BeSpontaneous/MCA-pytorch.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google