Rethinking Video ViTs: Sparse Video Tubes for Joint Image and Video Learning

要約

我々は、ViTエンコーダを、画像とビデオの両方の入力をシームレスに扱うことができる効率的なビデオモデルに変えることができる簡単なアプローチを提示する。入力のサンプリングを疎にすることで、このモデルは両方の入力から学習と推論を行うことができる。このモデルは容易に拡張可能であり、完全な微調整を必要とせずに大規模な事前学習済みViTに適応させることができます。このモデルはSOTAの結果を達成し、コードはオープンソース化される予定です。

要約(オリジナル)

We present a simple approach which can turn a ViT encoder into an efficient video model, which can seamlessly work with both image and video inputs. By sparsely sampling the inputs, the model is able to do training and inference from both inputs. The model is easily scalable and can be adapted to large-scale pre-trained ViTs without requiring full finetuning. The model achieves SOTA results and the code will be open-sourced.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL