A Simple Text to Video Model via Transformer

要約

Transformer に基づいた一般的で単純なテキストからビデオへのモデルを紹介します。
テキストとビデオは両方とも連続データであるため、テキストと画像の両方を同じ隠し空間にエンコードし、さらに Transformer に入力して時間的一貫性をキャプチャし、デコーダでテキストまたは画像のいずれかを生成します。
長いシーケンスでは画像信号が弱くなる可能性があることを考慮して、ノイズのあるバージョンから画像を再構成する U-Net を導入します。
具体的には、長いシーケンスで元の画像のノイズ レベルを増やし、U-Net の $down$ モジュールを使用してノイズのある画像をエンコードし、さらにトランスフォーマーに入力して次の鮮明な画像を予測します。
また、ビデオ内で生成された画像ペア間の動きを促進するための制約も追加します。
私たちは GPT2 を使用し、UCF101 データセットでアプローチをテストし、それが有望なビデオを生成できることを示しました。

要約(オリジナル)

We present a general and simple text to video model based on Transformer. Since both text and video are sequential data, we encode both texts and images into the same hidden space, which are further fed into Transformer to capture the temporal consistency and then decoder to generate either text or images. Considering the image signal may become weak in the long sequence, we introduce the U-Net to reconstruct image from its noised version. Specifically, we increase the noise level to the original image in the long sequence, then use the $down$ module from U-Net to encode noised images, which are further input to transformer to predict next clear images. We also add a constraint to promote motion between any generated image pair in the video. We use GPT2 and test our approach on UCF101 dataset and show it can generate promising videos.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google