Dancing with Still Images: Video Distillation via Static-Dynamic Disentanglement

要約

最近、データセットの蒸留により、特に画像データセットの効率的な機械学習への道が開かれました。
しかし、ビデオの蒸留は、独占的な時間的次元を特徴としており、依然として研究が進んでいない領域です。
この研究では、ビデオ蒸留に関する最初の体系的な研究を提供し、時間圧縮を分類するための分類法を導入します。
私たちの調査により、時間情報は通常、蒸留中に十分に学習されず、合成データの時間次元はほとんど寄与しないことが明らかになりました。
この観察は、ビデオ内の動的情報と静的情報を解きほぐすための統一フレームワークの動機付けとなります。
まずビデオを静的メモリとして静止画像に抽出し、次に学習可能な動的メモリ ブロックで動的情報と動き情報を補正します。
私たちの手法は、著しく少ないメモリ ストレージ予算で、さまざまなスケールのビデオ データセットで最先端の技術を実現します。
私たちのコードは https://github.com/yuz1wan/video_distillation で入手できます。

要約(オリジナル)

Recently, dataset distillation has paved the way towards efficient machine learning, especially for image datasets. However, the distillation for videos, characterized by an exclusive temporal dimension, remains an underexplored domain. In this work, we provide the first systematic study of video distillation and introduce a taxonomy to categorize temporal compression. Our investigation reveals that the temporal information is usually not well learned during distillation, and the temporal dimension of synthetic data contributes little. The observations motivate our unified framework of disentangling the dynamic and static information in the videos. It first distills the videos into still images as static memory and then compensates the dynamic and motion information with a learnable dynamic memory block. Our method achieves state-of-the-art on video datasets at different scales, with a notably smaller memory storage budget. Our code is available at https://github.com/yuz1wan/video_distillation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google